Как использовать RevoScaleR для чтения данных SAS по частям и вывода в формат, отличный от xdf?

Question

Я пытаюсь разработать код с помощью RevoScaleR и заметил, что у него есть такие параметры, как rowsPerRead и может выводить файлы xdf в виде фрагментов, используя метод rxImport. Однако в моих случаях использования я хочу применить некоторые пользовательские преобразования (ко всему чанку, а не только к столбцам) и выводить результаты в формате fst вместо xdf (как я считаю, это быстрее).

Есть ли способ применить преобразования клиентов для каждого чанка, читаемого им с помощью RevoScaleR?

Answer 1

Следуя примеру, он похож на приведенный ниже, за исключением того, что он, кажется, не работает и просто пожирает много оперативной памяти (по крайней мере, в Windows)

library(RevoScaleR)
a = RxSasData("file.sas7bdat")
rxOpen(a)
rxNext(a)
rxClose(a)