Ошибка: неверно: файл слишком мал, чтобы быть правильно сформированным файлом - ошибка при использовании перо в R

Question

Я пытаюсь использовать перо (v. 0.0.1) в R, чтобы прочитать довольно большой (3,5 ГБ) CSV- файл с 21178665 строками и 16 столбцами.

Я использую следующие строки для загрузки файла:

library(feather)
path <- "pp-complete.csv"
df <- read_feather(path)

Но я получаю следующую ошибку:

Ошибка: неверно: файл слишком мал, чтобы быть правильно сформированным файлом

Там нет объяснения в документации read_feather так что я не уверен, в чем проблема. Я предполагаю, что эта функция ожидает другую форму файла, но я не уверен, что это будет.

Кстати, я могу прочитать файл с read_csv в readr библиотека, но это занимает некоторое время.

Answer 1

feather Формат файла отличается от формата файла CSV. Они не являются взаимозаменяемыми. read_feather функция не может читать простые файлы CSV.

Если вы хотите быстро читать файлы CSV, ваши лучшие ставки, вероятно, readr::read_csv или же data.table::fread, Для больших файлов обычно все еще требуется время, чтобы просто прочитать его с диска.

После того, как вы загрузили данные в R, вы можете создать файл в feather отформатировать с write_feather так что вы можете прочитать это с read_feather в следующий раз.