Описание тега parallel-foreach

Вопросы с тегом
None Это библиотека на R, которая позволяет легко выполнять параллельную обработку
0 ответов

Параллельная обработка в R --- нет пакета с именем 'SNFtool'

Я хочу запустить параллельный код в R с помощью "параллельного" пакета, и вот мой код: library('SNFtool') foreach(i = 1,.packages=c('igraph','SNFtool')) %dopar% calNMI(list2[[i]],list3[[i]]) Конкретная ошибка, которую я получаю: Error in e$fun(obj, …
23 мар '16 в 01:35
1 ответ

Вложено для циклов в R с использованием функции foreach и библиотеки doParallel

Я пытаюсь вычислить косинус сходства между столбцами в матрице. Я могу заставить его работать, используя стандартные циклы for, но когда я пытаюсь заставить его работать параллельно, чтобы код работал быстрее, это не дает мне тот же ответ. Проблема …
19 янв '15 в 16:38
1 ответ

Как войти при использовании foreach (print или futile.logger)

Я хочу использовать foreach пакет в сочетании с регистрацией. Я обычно использую futile.logger пакет. Когда работа передается работникам, информация о регистрации теряется (что странно, так как вы должны указать, что нужно использовать пакет регистр…
08 авг '16 в 11:42
1 ответ

R многоядерный сверхвысокомерный одномерный анализ

У меня есть фрейм данных, состоящий из 1М ковариат, где я хотел бы регрессировать каждый из них, независимо от конкретного столбца фрейма данных, используя R, но в многоядерном режиме. Под однофакторным анализом я подразумеваю либо биномиальную регр…
28 ноя '15 в 04:05
1 ответ

Проблема с пакетом foreach R, объединяющим данные при параллельной работе

Учитывая размер данных, с которыми я работаю, я хочу выполнять обработку параллельно Я настроил код, как показано ниже, чтобы освободить одно ядро, чтобы вся машина не использовалась library(DoMC) library(foreach) library(itertools) num_cores <- …
25 авг '16 в 15:23
1 ответ

Почему важность распределяется после распараллеливания randomForest?

Сейчас я работаю с пакетом randomForest в R. Чтобы ускорить этап классификации, я был заинтересован в параллельном выполнении леса. Для этого я использовал пакет "foreach" аналогично тому, как он указан на виньетке "foreach". Это состоит в том, чтоб…
01 окт '15 в 13:57
1 ответ

R foreach() - как определить функцию объединения для нескольких выходов при использовании кусков itertools?

Как я могу написать функцию объединения для оператора R foreach(), который использует разбиение itertools, так что я получаю тот же результат, что и использование оператора R foreach() без разбиения itertools? У меня есть оператор R foreach(), котор…
05 июн '18 в 18:14
1 ответ

Не все TSQL-соединения используются параллельно

Мне удалось успешно создать параллельные соединения в R с сервером TSQL, используя следующий код: SQL_retrieve <- function(x){ con <- odbcDriverConnect( 'driver={SQL Server};server=OPTMSLMSOFT02;database=Ad_History;trusted_connection=true' ) o…
17 авг '16 в 14:49
2 ответа

doParallel (package) foreach не работает для больших итераций в R

Я запускаю следующий код (извлеченный из виньеток doParallel) на ПК (ОС Linux) с 4 и 8 физическими и логическими ядрами соответственно. Выполнение кода с iter=1e+6 или меньше, все хорошо, и я могу видеть из загрузки процессора, что все ядра использу…
10 июн '16 в 14:36
0 ответов

В цикле R foreach не хватает памяти в среде HPC

Я использую пакет foreach в R для обработки растровых файлов. Приведенный ниже код R отлично работает локально (в Windows) при адаптации к 8-ядерному процессору, но не хватает памяти в среде HPC с 48 ядрами. В среде HPC доступно гораздо больше памят…
19 дек '18 в 04:22
1 ответ

Максимальное количество рабочих / рабов для параллельной работы на снегу

Я запускаю цикл foreach со снежной частью на машине с Windows. У меня есть 8 ядер для работы. Rscript выполняется через системный вызов, встроенный в скрипт python, так что также будет активный экземпляр python. Есть ли какая-то польза от того, чтоб…
22 окт '15 в 18:47
1 ответ

Параллельная обработка в R doParallel foreach

Я написал скрипт, который работает нормально, но он не выполняет параллельную обработку. Я попытался изменить ядра с 3 на 16, но скорость, с которой генерировались данные, не изменилась. Может кто-нибудь сообщить мне, что я делаю неправильно и как я…
07 июн '16 в 22:38
1 ответ

r %dopar% вложенный цикл не работает параллельно

Я запускаю вложенный цикл с помощью %dopar% создать фиктивный набор данных для целей опыта. Ссылка на ссылку: вложенный foreach% dopar% во внешнем цикле и% do% во внутреннем цикле образец набора данных set.seed(123) n = 10000 #number of unique IDs (…
19 фев '19 в 07:21
1 ответ

Не получен стандартный вывод внутри цикла foreach

Я использую doParallel сделать довольно длинную параллельную обработку с foreach, Вместо большинства примеров, которые я вижу, где в цикл подается интенсивный вычислительный, но вводящий свет код, я использую foreach координировать одновременную обр…
13 июл '17 в 03:34
0 ответов

Почему мой параллельный цикл foreach в R занимает больше времени, чем простой цикл for?

Я новичок в R, я пытаюсь распараллелить вложенный цикл for, используя цикл foreach и пакет doSNOW, но цикл foreach занимает больше времени, чем цикл for она мой код: инициализирующие переменные m=1000 n=5000 k=3 x=matrix(c(rnorm(m*n/2,0,1),rnorm(m*n…
29 янв '17 в 15:35
0 ответов

R: Значения, сохраненные в списке в%dopar% / foreach, недоступны в глобальном окружении

Я пытаюсь запустить следующий код параллельно, используя dopar / foreach, но я не могу понять, как на самом деле сохранить значения в списке и сделать так, чтобы они отображались в глобальной среде ниже в сценарии. У меня есть первая строка кода для…
21 сен '18 в 09:17
1 ответ

Распараллеливание слияния по row.names двух больших матриц

Я пытаюсь объединить две большие матрицы row.names в R с merge, но это занимает довольно много времени. Есть ли возможность распараллелить merge метод? Может быть, как-то с foreach библиотека? Или, может быть, есть более быстрые решения, которые дел…
05 май '14 в 13:45
0 ответов

R цикл foreach, невозможно добавить rbind после добавления оператора if

Я пытаюсь связать несколько данных, используя цикл foreach с оператором if else. Перед добавлением оператора if else, dataframe может свободно связываться и работать. Но после добавления оператора if else таблица результатов (M_test) становится NULL…
22 сен '18 в 18:10
1 ответ

Назначение столбцов параллельно data.table

Я хотел бы назначить много (до 2000+) столбцов data.table; процесс показался мне чрезвычайно распараллеливаемым, но кажется, что процесс распределяется не очень хорошо data.table многим работникам. Я ожидал следующего, чтобы работать: library(data.t…
28 янв '17 в 01:42
0 ответов

Параллельно выполнять шаги по сбору данных для каждого компонента списка

У меня есть список с двумя объектами data.table в нем. Чтобы дать представление, одна таблица получила 400 000 строк и 7 переменных, другая - 750 000 строк и 12 переменных. Эти две таблицы не имеют одинаковых столбцов. Я делаю много уроков (разные ш…
02 июл '15 в 20:42