Описание тега disk.frame
1
ответ
Как узнать, сколько рабочих использует мой disk.frame?
Я использую disk.frame пакет, и я хотел знать, сколько рабочих disk.frame используя для выполнения операций? Я просмотрела disk.frame документация и не могу найти такую функцию.
23 авг '19 в 06:29
0
ответов
Как преобразовать очень большой ffdf размером 40 ГБ в disk.frame?
Если бы он был меньше, было бы несложно использовать функцию as.data.table.ffdf. Но на самом деле напильник намного больше моего барана. Есть ли способ преобразовать его или мне нужно записать его на диск, а затем перезагрузить?
21 янв '20 в 00:07
0
ответов
Есть ли лучший способ использовать disk.frame в функции?
Я создал несколько функций, которые должны обрабатывать либо disk.frame или data.tableкак вход. Я получаю ошибки изfuture пакет, используемый в disk.frameиз-за того, что объект не был найден при исполнении. Я думаю, это связано с тем, чтоfutureищет …
28 май '20 в 19:22
1
ответ
Как лучше всего записать фрейм диска в CSV?
Я просматриваю документы и не вижу функции записи в CSV. Похоже, есть функция для записи фрейма диска, но неясно, в каком формате он сохраняется. write_disk.frame Запишите data.frame/disk.frame в расположение disk.frame. Если df - это data.frame, то…
11 сен '20 в 07:37
1
ответ
Как мне прочитать фрейм диска, который уже был сохранен?
Я сохранил фрейм диска в его выходной каталог, а затем перезапустил сеанс R. Я бы хотел прочитать существующий дисковый фрейм вместо того, чтобы воссоздавать его в другом месте. Как я могу это сделать? Моя папка называется outdir.df Вот так я сохран…
11 сен '20 в 18:41
1
ответ
CSV на дисковый фрейм с несколькими CSV
Я получаю эту ошибку при попытке импортировать CSV с помощью этого кода: some.df = csv_to_disk.frame(list.files("some/path")) Ошибка в split_every_nlines(name_in = normalizePath(file, mustWork = TRUE),: Ожидается одно строковое значение: […
18 сен '20 в 20:49
1
ответ
В format.default(nam.ob, width = max(ncn), justify = "left"): NA, введенные путем приведения к целочисленному диапазону.
У меня есть дисковый фрейм, который я сохранил в файл. Он состоит из десяти частей. Я закодировал каждый из столбцов как символ, потому что я намеревался объединить эти отдельные фреймы диска в один большой фрейм диска и установить типы столбцов в э…
19 сен '20 в 04:30
1
ответ
Как выбрать степень сжатия с помощью rbindlist.disk.frame?
По умолчанию установлено значение 50 по шкале от 1 до 100. У меня особенно большой дисковый фрейм, и я подумываю использовать большее число. Какие важные компромиссы следует учитывать?
19 сен '20 в 04:37
1
ответ
столбцы перемешались после использования csv_to_disk.frame
У меня есть около 15 ГБ заархивированных данных в 30-минутных пакетах. разархивирование и чтение их с помощью unzip и readr или fread работает нормально, но требования к оперативной памяти не позволяют мне читать столько файлов, сколько я хочу. поэт…
03 окт '20 в 15:39
1
ответ
Ошибка при сериализации (данные, узел $con): ошибка записи в соединение с фреймом диска
Я пытаюсь выполнить группу на фрейме диска, и появляется эта ошибка Ошибка при сериализации (данные, узел $con): ошибка записи в соединение с фреймом диска Мне интересно, смогу ли я обойти это, изменив размеры кусков. Похоже, это указывает на то, чт…
11 сен '20 в 20:55
1
ответ
Нужно ли использовать сбор с дисковыми фреймами?
Этот вопрос является продолжением этой темы Я хочу выполнить три действия с фреймом диска Подсчитайте различные значения поля id сгруппированы по двум столбцам (key_a и key_b) Подсчитайте различные значения поля id сгруппированы по первому из двух с…
20 сен '20 в 18:51
0
ответов
Проблема с функцией чтения csv на disk.frame
Я прочитал текстовый файл размером 25 гигабайт таким образом, но получаю сообщение об ошибке, связанное с подключением к рабочему серверу localhost: s4 <- csv_to_disk.frame ( ruta_txt, outdir = ruta_temporal, overwrite = T, in_chunk_size = 1e5, head…
08 окт '20 в 19:59
1
ответ
Как выбрать размер блока в фрейме диска?
Я работаю с дисковым фреймом и пока все отлично. Меня смущает размер куска. Я чувствую, что небольшой кусок может создать слишком много задач, а фрейм диска может съесть время на управление этими задачами. С другой стороны, большой кусок может быть …
12 сен '20 в 18:14
1
ответ
Как подсчитать уникальные объекты с disk.frame в R?
Я хочу преобразовать фрейм данных в фрейм диска, а затем посчитать первый столбец. Когда я пробую, он не считает количество уникальных значений столбца. Кажется, подсчитывает количество рабочих. library(disk.frame) options(future.globals.maxSize = I…
07 сен '20 в 20:36
1
ответ
Как srckeep влияет на базовый фрейм диска?
У меня дисковый фрейм с этими столбцами key_a key_b key_c value Скажем, фрейм диска составляет 200 миллионов строк, и я хотел бы сгруппировать его по key_b. Кроме того, я хочу, чтобы нижележащий дисковый фрейм оставался неизменным, чтобы позже я мог…
11 сен '20 в 18:56
1
ответ
N_distinct - точный расчет с дисковыми фреймами?
Я запускаю n_distinct для большого файла (>30 ГБ), и, похоже, он не дает точного результата. У меня есть еще одна контрольная точка для данных, а вывод в агрегате фреймов диска отключен. В документации упоминается, что n_distinct - это точный расчет…
12 сен '20 в 20:13
1
ответ
Как связать два фрейма диска вместе?
У меня есть два дисковых фрейма, каждый из которых содержит около 20 ГБ файлов. Он слишком велик для объединения в виде таблиц данных, потому что для этого процесса требуется больше, чем имеющаяся у меня память. Я пробовал использовать этот код: out…
11 сен '20 в 07:39
2
ответа
Моя группа не работает с дисковыми фреймами
Я запустил группу на большом наборе данных (>20 ГБ), и, похоже, он работает не совсем правильно Это мой код mydf[, .(value = n_distinct(list_of_id, na.rm = T)), by = .(week), keep = c("list_of_id", "week") ] Он вернул эту ошибку …
11 сен '20 в 20:31
0
ответов
Не удалось создать disk.frame из большого файла csv, сжатого с помощью gzip.
Я пытаюсь сделать это на ноутбуке с Windows 10 с 16 ГБ ОЗУ. Здесь также стоит упомянуть, что я установил временную папку R вне диска C :, чтобы на диске операционной системы не закончилось место, сохраняя .Renviron файл в моем Documents папку со сле…
26 июн '21 в 17:53
0
ответов
disk.frame сохраняет данные в неправильном каталоге?
Я использую disk.frame для сохранения фрагментов файла .csv на внешний жесткий диск, где у меня есть больше памяти для его хранения. Однако когда я предлагаю outdir, похоже, сохраняет данные во временной папке. Вот мой код: library(disk.frame) libra…
04 июл '21 в 11:08