Описание тега doparallel

Вопросы с тегом
Пакет R, который является "параллельным сервером" для пакета foreach. Он предоставляет механизм, необходимый для параллельного выполнения циклов foreach.
0 ответов

Ошибка при параллельной настройке модели xgboost в функции поезда кареты

Я пытаюсь выполнить настройку перекрестной проверки в карете для модели xgboost. У меня есть большая сетка настройки, поэтому я хотел бы запустить ее параллельно. Я настроил данные как разреженную матрицу, настроил сетку настройки, параллельную обра…
24 авг '18 в 20:45
0 ответов

maxLik в R используется с doParallel и foreach для более быстрой реализации

Мне нужно сделать MLE-оценку для набора данных из 31000 наблюдений, с функцией логарифмического правдоподобия. Есть 21 параметр для оценки для набора данных. Для оценки я использую пакет maxLik с методом Ньютона-Рафсона в R. Hessian, а градиенты лог…
09 дек '15 в 00:38
1 ответ

Назначение пути к файлу на хосте работника при использовании doParallel в R

Я работаю на одной машине с 8 ядрами. Я хочу войти stdout и stderr в файл журнала, используя опцию outfile в makeCluster cl = makeCluster(detectCores() - 1, outfile = "log.txt") Приведенный выше код сохраняет файл журнала в рабочем каталоге. Мне был…
05 фев '18 в 21:42
0 ответов

Почему cv.glmnet параллельно =TRUE не работает

Я пытаюсь запустить перекрестную проверку glmnet параллельно. Истекшее время между параллельной и непараллельной версиями не показывает существенной разницы Я пробовал как с Windows 7 корпоративный ноутбук (8 ядер), так и с сервером Windows (24 ядра…
15 янв '19 в 21:31
0 ответов

При создании случайного леса с использованием foreach() в R я получаю сообщение об ошибке, не могу найти функцию randomForest()

При попытке выполнить параллельную обработку в R для создания случайных лесов из 51 дерева с использованием 3 ядер, я получаю сообщение об ошибке "Ошибка в randomForest(x, y, ntree = ntree): задача 1 не выполнена - " не удалось найти функцию "random…
03 май '15 в 18:38
0 ответов

foreach partPlot randomForest

Пытаясь использовать foreach построить график частичной зависимости от randomForest пакет. Получение ошибки: Error in { : task 1 failed - undefined columns selected library(randomForest) library(DoParallel) library(mlbench) data(Sonar) registerDoPar…
17 июн '16 в 17:09
1 ответ

Использование ForEach для пошагового прохождения столбцов для тысяч регрессий

Сначала немного данных. Сделайте блок данных для ковариат и мой результат, представляющий интерес для регрессии, и один для объясняющих переменных. То, что я делаю, это шагая через lm(outcome ~ mycovs + ith column of betas) и для этого примера, соби…
27 мар '18 в 22:06
0 ответов

Вызов подпрограмм Fortran из R foreach на платформе Linux

rm(list=ls()) library(doParallel) dyn.load("bar.so") foo <- function(x) { if (!is.numeric(x)) stop("arg x must be numeric") out <- .Fortran("bar", n=as.integer(length(x)), x=as.double(x)) return(out$x) } foo2 <- function(y) { y2 <- y * y…
07 дек '17 в 14:35
1 ответ

R foreach значение параллельного цикла не сохранено

При выполнении следующего фиктивного кода: P = 2 library(foreach) library(doMC) registerDoMC(P) f = double(length = P) print('=== f values in loop ===') foreach(c = 1:P) %dopar% { f[c] = c print(f[c]) } print('### f values after loop ###') for(c in …
26 июл '15 в 06:17
1 ответ

Вложенный do.call в среде foreach %dopar% не может найти функцию, переданную с помощью.export

Я вкладываю несколько уровней do.call (каждая из них использует функции, названные в параметрах, а не жестко закодированные) в %dopar% параллельная среда, и функция из моей внешней среды не может быть найдена самой внутренней функцией. Я знаю о .exp…
02 мар '17 в 16:42
1 ответ

Анимированный линейный сюжет с параллельной обработкой

Что я хочу сделать: Я пытаюсь построить анимированный сюжет за определенный период времени (в месяцах и годах). Поскольку у меня много записей, я хотел сделать это с помощью параллельной обработки, чтобы увеличить скорость. Я использовал ответ на од…
05 ноя '18 в 11:21
3 ответа

Почему foreach %dopar% замедляется с каждым дополнительным узлом?

Я написал простое умножение матриц, чтобы проверить возможности многопоточности / распараллеливания моей сети, и заметил, что вычисления выполняются намного медленнее, чем ожидалось. Тест прост: умножьте 2 матрицы (4096x4096) и верните время вычисле…
29 янв '17 в 20:40
1 ответ

Параллельный бэкэнд R: Что происходит, когда один процесс сталкивается с исключением?

Я использую foreach + %dopar% добиться параллелизма по нескольким ядрам. Я знаю, что некоторые задачи будут сталкиваться с исключениями. Когда возникает исключение: Будут ли завершены оставшиеся задачи, которые уже были запущены параллельно? Будут л…
02 июл '18 в 14:30
2 ответа

doParallel (package) foreach не работает для больших итераций в R

Я запускаю следующий код (извлеченный из виньеток doParallel) на ПК (ОС Linux) с 4 и 8 физическими и логическими ядрами соответственно. Выполнение кода с iter=1e+6 или меньше, все хорошо, и я могу видеть из загрузки процессора, что все ядра использу…
10 июн '16 в 14:36
0 ответов

Назначения внутри foreach и итеративное сохранение вывода из foreach

Я подключаюсь к локальной базе данных SQL Server и выполняю некоторые запросы в цикле. Выходные данные каждой итерации сохраняются в виде файла данных RDS локально на диске. Это прекрасно работает, когда я выполняю это последовательно в стандартном …
18 дек '18 в 03:20
1 ответ

Параллельные вычисления для пакета Create_Matrix 'RTextTools'

Я создаю DocumentTermMatrix с помощью create_matrix() от RTextTools и создать container а также model основываясь на этом. Это для очень больших наборов данных. Я делаю это для каждой категории (уровень факторов). Таким образом, для каждой категории…
09 янв '19 в 10:31
1 ответ

Ошибка JVM при записи фрейма данных в базу данных Oracle с использованием parLapply

Я хочу распараллелить процесс записи данных. Я пишу фрейм данных в базу данных Oracle. Эти данные имеют 4 миллиона строк и 8 столбцов. Это занимает 6,5 часов без распараллеливания. Когда я пытаюсь идти параллельно, я получаю ошибку Error in checkFor…
15 янв '19 в 06:23
1 ответ

Как использовать доступную память в R

Я использую 64-битный R/RStudio на 64-битной Windows 10. ПК имеет 16 ГБ оперативной памяти и работает на 8-ядерном. Таким образом, RStudio дает сбой на 1,6/7 ГБ использования памяти при чтении большего набора данных. Поэтому я пытаюсь использовать п…
25 янв '19 в 00:43
1 ответ

Параллельный запуск RSelenium с помощью Docker

В настоящее время я пытаюсь использовать пакет doParallel, чтобы распараллелить мой веб-скребок RSelenium (работает на Docker). Я нашел этот пост ( Ускорьте очистку веб-страниц с помощью нескольких браузеров Rselenium) и копирую ответ, предоставленн…
08 фев '19 в 14:58
1 ответ

R doParallel: не удалось найти функцию

Я установил следующую функцию: cv_model <- function(dat, targets, predictors_name){ library(randomForest) library(caret) library(MLmetrics) library(Metrics) # set up error measures sumfct <- function(data, lev = NULL, model = NULL){ mape <-…
14 фев '19 в 17:26