Чтение данных из нескольких файлов CSV в один объект ffdf

Question

Можно ли одновременно загрузить данные из нескольких файлов в фрейм данных ff (ffdf)? Допустим, у меня есть

big_file_part1.csv
big_file_part2.csv
big_file_part3.csv

Я знаю, что могу загрузить каждый CSV-файл в отдельный объект ffdf, а затем ffdfrbind.fill их вместе. Но это кажется неэффективным способом, загружая вещи дважды. Есть ли более прямой путь?

Answer 1

Вот как я это сделал (обратите внимание, что мои исходные данные не имеют заголовков).

Первый шаг - убедитесь, что все ваши файлы находятся в одной папке. Установите ваш рабочий каталог в папку.

#load the ffbase library
library(ffbase)

#create a vector of the files that I want to load
temp = list.files(pattern="*.csv")

#create the first ffdf object for i = 1, this is necessary to establish the ff dataframe to append the rest
for (i in 1)
  mydata <- read.csv.ffdf(file=temp[i], header=FALSE, VERBOSE=TRUE
          , first.rows=100000, next.rows=100000, colClasses=NA)

#loop through the remaining objects
for (i in 2:length(temp))
  mydata <- read.csv.ffdf(x = mydata, file=temp[i], header=FALSE, VERBOSE=TRUE
            , first.rows=100000, next.rows=100000)