Описание тега r-bigmemory
NoneR -bigmemory - это пакет R (не путать с bigmemory, относящимся к Java ehcache), относится к набору пакетов bigmemory (bigmemory, bigalgebra, bigtabulate), которые позволяют создавать, хранить, получать доступ и управлять массивными матрицами. Матрицы выделяются в общую память и могут использовать файлы с отображением памяти.
0
ответов
Использование "mapply" с "bigmemory" в r
У меня есть 3 очень больших вектора в R (один из основных платежей, один из процентных ставок и один из сроков). Мне нужно передать каждую возможную комбинацию через функцию (функция pmt из пакета FinCal). Я помещаю каждый вектор в большую матрицу (…
21 авг '15 в 03:16
3
ответа
Непонятный пример в документации big.matrix (применимо)
Я новичок в big.matrix и связанные пакеты, я пытаюсь воспроизвести следующий пример ``` Loading required package: stats > Sys.setenv(LANG = "en") > library(bigmemory) Loading required package: bigmemory.sri bigmemory >= 4.0 is a major revis…
24 дек '12 в 16:45
0
ответов
Rcpp: ошибки произошли при использовании функции шаблона
Я пересматриваю свой пакет biglasso для разных типов данных big.matrix, Текущая версия поддерживает только double тип. Исходный код здесь. Я просто добавил template заголовок и внесите необходимые изменения в функции, которые принимают big.matrix в …
10 сен '16 в 03:50
0
ответов
Использование RcppArmadillo с bigmemory, возвращение bigmatrix
Я пытаюсь сделать некоторые операции с big.matrix с помощью RcppArmadillo, Проблема в том, что мне всегда нужно сохранять свои результаты как big.matrix избегая загрузки данных в оперативную память. Это мой код, где я создаю транспонирование big.mat…
10 фев '17 в 14:00
2
ответа
Объединить список матриц в big.matrix
У меня есть список больших (35000 x 3) матриц в R, и я хочу объединить их в одну матрицу, но это будет около 1 миллиарда строк в длину и будет превышать максимальный размер объекта в R. Пакет bigmemory допускает большие матрицы, но , похоже, не подд…
25 май '18 в 15:30
1
ответ
Как эффективно сделать перекрестную проверку с big.matrix в R?
У меня есть функция, которая заключается в следующем, который принимает матрицу дизайна X с типом класса big.matrix в качестве входных данных и предсказывает ответы. ПРИМЕЧАНИЕ: размер матрицы X более 10 ГБ. Поэтому я не могу загрузить его в память.…
09 ноя '15 в 17:49
2
ответа
Как установить BigMemory и bigrf на ОС Windows
Я пытался установить bigmemory на мою установку R. Моя ОС - 64-битная Windows 7, и я пробовал ее на 64-битных версиях R V2.15.1,2.15.2 и 3.0.1, но не могу заставить ее работать. Я перепробовал несколько вариантов скачать текущий источник и запустить…
14 авг '13 в 08:42
1
ответ
Сохранить несколько больших матриц из Rcpp в среду R
Я использовал Rcpp (особенно Rcpp Armadillo) для выполнения метода, который возвращает в результате несколько больших матриц, например, размером 10000*10000. Как я могу сохранить эти матрицы, чтобы использовать их в среде R. Предположим, что мой код…
27 янв '18 в 20:45
0
ответов
Переупорядочение столбцов в Big.Matrix
Я впервые пишу вопрос - несмотря на то, что использую этот сайт почти ежедневно (свидетельство очень высокого качества этого ресурса!) - и хотел бы поблагодарить всех, кто вносит свой вклад в этот сайт / сообщество.! Я работаю с матрицами, размеры к…
05 июн '14 в 22:41
2
ответа
Извлечение столбца с NA из объекта Bigmemory в Rcpp
Я пытаюсь создать функцию, которая извлекает столбец из объекта big.matrix в Rcpp (чтобы его можно было проанализировать в cpp, прежде чем выводить результаты в R), но я не могу понять, как заставить его распознавать NA (теперь они представлены как …
25 июл '16 в 13:39
1
ответ
Сбой R при экспорте большой матрицы в снежный кластер
У кого-нибудь здесь был успех при экспорте большой матрицы в снежный кластер в R? Комментируемые строки в примерах bigmatrix и attach.resource говорят о том, что это возможно, но я не добился успеха. library(bigmemory) library(snow) z <- big.matr…
19 фев '13 в 03:58
1
ответ
RcppArmadillo + bigmemory аварийно завершает работу Windows RStudio (но без другого GUI + OS.type)
Я работаю над пакетом R, bigKRLS, bigKRLS работает на Windows RGui, но сталкивается с фатальной ошибкой на Windows RStudio. Некоторые детали... Windows RGui работает, но Windows RStudio сталкивается с фатальной ошибкой; подтверждено на четырех разны…
06 апр '17 в 06:44
1
ответ
Эквивалент row() и col() для big.matrix в R
Я использую пакет bigmemory для обработки большой матрицы размером 8000 x 8000. Что эквивалентно row() и col() для большой матрицы? Когда я попытался использовать две вышеуказанные функции для доступа к объекту big.matrix, я получил следующую ошибку…
15 фев '18 в 11:16
0
ответов
Загрузка CSV-файла с пакетом Bigmemory
У меня есть CSV-файл, и я хочу открыть его с помощью пакета "bigmemory". Я использую R 2.15.3. Это код: library(bigmemory) library(biganalytics) x<-read.big.matrix('data.csv') После того, как я это сделал, R разбился. Я не знаю, как выглядят данн…
18 авг '15 в 20:07
2
ответа
Обработка больших наборов данных в R
Я работаю с относительно большими наборами данных (5 файлов по 2 ГБ каждый, чтобы дать вам порядок, одна из таблиц имеет размер 1,5M строк x 270 столбцов), где я использую функцию dplyr left_joint (между этими наборами данных и другими небольшими та…
27 апр '17 в 07:36
1
ответ
Проблемы с памятью при использовании bigmemory для загрузки большого набора данных в R
У меня есть большой текстовый файл (>10 миллионов строк, > 1 ГБ), который я хочу обрабатывать по одной строке за раз, чтобы избежать загрузки всего объекта в память. После обработки каждой строки я хочу сохранить некоторые переменные в big.matrix об…
14 июл '15 в 13:03
1
ответ
Как я могу разместить в Rcpp строки или столбцы bigstatsr::FBM и сохранить их в векторе?
У меня есть функция, которая вычисляет основную сводную статистику из строк (или столбцов) данной матрицы, и сейчас я пытаюсь также использовать эту функцию с bigstatsr::FBM (я знаю, что использование столбцов должно быть более эффективным). Причина…
30 авг '18 в 12:01
0
ответов
R: Самый эффективный способ для хранения с файловой поддержкой большой разреженной 3-сторонней тензорной или разреженной расширенной матрицы
Я хотел бы иметь эффективную платформу в R для хранения на основе файлов большого трехстороннего тензора длинных целых чисел (15000 (измерение времени) x 500000 (2-е измерение) x 500 (пример, 3D-измерение)), используя как расширенная матрица измерен…
06 окт '17 в 14:37
1
ответ
Распараллеливание с использованием разделяемой памяти [bigmemory]
Я испытываю некоторые трудности при попытке заставить его работать в параллельном сценарии [doSNOW], с использованием общей памяти [bigmemory]. В итоге я получаю следующую ошибку "Ошибка в {: сбой задачи 1 - " не удается открыть соединение "" в неко…
17 май '17 в 17:24
2
ответа
Работа с данными, которые больше, чем физическая память в R, используя bigmemory?
Я разрабатываю пакет R под названием biglasso, который подходит для моделей лассо в R для массивных наборов данных с использованием методов отображения памяти, реализованных в библиотеке C++ bigmemory. В частности, для очень большого набора данных (…
11 мар '16 в 23:08