Ошибка: неверно: файл слишком мал, чтобы быть правильно сформированным файлом - ошибка при использовании перо в R
Я пытаюсь использовать перо (v. 0.0.1) в R, чтобы прочитать довольно большой (3,5 ГБ) CSV- файл с 21178665 строками и 16 столбцами.
Я использую следующие строки для загрузки файла:
library(feather)
path <- "pp-complete.csv"
df <- read_feather(path)
Но я получаю следующую ошибку:
Ошибка: неверно: файл слишком мал, чтобы быть правильно сформированным файлом
Там нет объяснения в документации read_feather
так что я не уверен, в чем проблема. Я предполагаю, что эта функция ожидает другую форму файла, но я не уверен, что это будет.
Кстати, я могу прочитать файл с read_csv
в readr
библиотека, но это занимает некоторое время.
1 ответ
feather
Формат файла отличается от формата файла CSV. Они не являются взаимозаменяемыми. read_feather
функция не может читать простые файлы CSV.
Если вы хотите быстро читать файлы CSV, ваши лучшие ставки, вероятно, readr::read_csv
или же data.table::fread
, Для больших файлов обычно все еще требуется время, чтобы просто прочитать его с диска.
После того, как вы загрузили данные в R, вы можете создать файл в feather
отформатировать с write_feather
так что вы можете прочитать это с read_feather
в следующий раз.