Описание тега snow
DO NOT USE FOR SNOW ANIMATION.The R package SNOW (acronym for Simple Network Of Workstations) provides a high-level interface for using a cluster of workstations for parallel computations. Use with the [r] tag.
0
ответов
R доступ к параллельным работникам динамически
Я хочу создать несколько параллельных рабочих, которым не нужно ждать, пока другие рабочие закончат свою работу, прежде чем получить новые рабочие места. require(snow) # generate sockets cl <- snow::makeSOCKcluster(3, type = "SOCK", outfile="") #…
06 ноя '18 в 20:35
1
ответ
Избегайте петли R и распараллеливайтесь со снегом
У меня большой цикл, который займет слишком много времени (~100 дней). Я надеюсь ускорить это с библиотекой снега, но я не очень хорош в применении заявлений. Это только часть цикла, но если я смогу разобраться с этой частью, остальное должно быть п…
14 июн '17 в 20:50
0
ответов
R + снег + кластер: убить рабов, когда мастер умирает
Я распараллеливаю мой код R со снегом, используя кластеры (типа SOCK) в Ubuntu 16 LTS. Более простой пример кода ниже: # Make cluster of type SOCK cl <- makeCluster(hostsList, type = "SOCK") clusterExport(cl, "task"); # Compute long time tasks re…
14 мар '18 в 12:52
0
ответов
Программа Rmpi зависает после получения правильного вывода. Как мне выйти программно?
Код, который я использую: library(Rmpi) mpi.spawn.Rslaves(nslaves=mpi.universe.size()-1) mpi.remote.exec(paste(--)) mpi.close.Rslaves() mpi.quit() Я старался mpi.exit() но все равно висит.
02 дек '17 в 03:53
0
ответов
Ошибка в десериализации (список соединений [[n]]): ошибка чтения из соединения
Я использую R и запускаю параллельный код на 7 ядрах на машине с Linux. При использовании небольшого набора данных мой код занимает около 2 часов и работает нормально. При использовании набора данных большего размера, в 6 раз, коды занимают гораздо …
22 авг '16 в 07:15
2
ответа
`stopCluster` в`R snow` заморозить
Я запускал симуляцию Монте-Карло в кластерных компьютерах с snow а также R, Все прошло хорошо, пока R ударить по линии stopClusterпри котором R заморозить и, наконец, превысил время стены. Я не вижу проблемы stopCluster, Ниже приведена упрощенная ве…
07 дек '16 в 00:47
2
ответа
Невозможно получить доступ к параметрам в коде C++ в параллельном коде, вызванном из Snow
Я разрабатываю параллельный код R с использованием пакета Snow, но при вызове кода C++ с использованием пакета Rcpp программа просто зависает и не отвечает. в качестве примера... у меня есть следующий код в R, который использует снег для разделения …
12 июн '14 в 13:06
1
ответ
clusterR возвращает "аргумент нулевой длины"
Я использовал R raster Пакет долгое время, но сейчас я действительно не могу разобраться с этой проблемой clusterR. Я должен вычислить индекс SPI для растра netCDF. Это делается для каждой ячейки с использованием временных рядов ячейки и возвращение…
08 окт '15 в 08:58
1
ответ
Регрессии с использованием параллельных / многоядерных процессов
Я пытаюсь запустить следующий код в R на кластере Linux. Я хотел бы использовать всю вычислительную мощность (указав ядра / узлы / память). Приведенный ниже код по существу выполняет прогнозы на основе регрессии GAM и сохраняет результаты в виде фай…
20 апр '16 в 17:03
5
ответов
Ошибка вызова функции сериализации R
Я загружаю следующие пакеты в R: library(foreach) library(doParallel) library(iterators) Я "распараллеливаю" код в течение длительного времени, но в последнее время я получаю прерывания INTERMITTENT во время выполнения кода. Ошибка: Error in seriali…
10 июн '13 в 00:46
2
ответа
Параллельный вызов внешней программы с использованием foreach и doSNOW: как импортировать результаты?
Я использую R для параллельного вызова внешней программы в кластере с несколькими узлами и несколькими ядрами. Внешняя программа требует три файла входных данных и создает один выходной файл (все файлы хранятся в одной подпапке). Чтобы запустить про…
22 апр '17 в 13:09
1
ответ
Максимальное количество рабочих / рабов для параллельной работы на снегу
Я запускаю цикл foreach со снежной частью на машине с Windows. У меня есть 8 ядер для работы. Rscript выполняется через системный вызов, встроенный в скрипт python, так что также будет активный экземпляр python. Есть ли какая-то польза от того, чтоб…
22 окт '15 в 18:47
1
ответ
Есть ли ограничение на количество рабов, которое может создать R snow?
Я пытаюсь построить снежный кластер с примерно 120 процессами на 3 разных хостах. Это серверы AMD с 48 ядрами каждый. После сборки примерно 90 первых рабов я получаю эту ошибку: cl = makeSOCKcluster(c(rep("localhost", 44), rep("host2", 46), rep("hos…
09 май '13 в 12:02
0
ответов
Почему мой параллельный цикл foreach в R занимает больше времени, чем простой цикл for?
Я новичок в R, я пытаюсь распараллелить вложенный цикл for, используя цикл foreach и пакет doSNOW, но цикл foreach занимает больше времени, чем цикл for она мой код: инициализирующие переменные m=1000 n=5000 k=3 x=matrix(c(rnorm(m*n/2,0,1),rnorm(m*n…
29 янв '17 в 15:35
1
ответ
Сбой R при экспорте большой матрицы в снежный кластер
У кого-нибудь здесь был успех при экспорте большой матрицы в снежный кластер в R? Комментируемые строки в примерах bigmatrix и attach.resource говорят о том, что это возможно, но я не добился успеха. library(bigmemory) library(snow) z <- big.matr…
19 фев '13 в 03:58
0
ответов
foreach Ошибка: прерывание... Ошибка в unserialize(nodecon): ошибка чтения из соединения
Иногда мой экземпляр R тихо умирает. Я использую foreach для параллельной обработки. Я использую 16-ядерную и 64-Гбайтную оперативную память. Я использую следующий код для выполнения foreach. cl <- makeCluster(6,outfile=mkclog); registerDoParalle…
06 сен '16 в 12:25
1
ответ
Snow R: получить текущую информацию об узле
Допустим, у нас есть кластер из 4 процессоров в R через SNOW. Как я могу узнать, какой узел работает? Я хочу сделать так, чтобы логика: ЕСЛИ (Узел 1) ТОГДА логика1 ЕСЛИ (Узел 2) ТОГДА логика2 ЕСЛИ (Узел 3) ТОГДА логика3 ЕСЛИ (Узел 4) ТОГДА логика4 К…
29 сен '14 в 15:28
1
ответ
R Параллельные вычисления: выберите объекты для распределения по ядрам.
У меня есть вопрос, связанный с r-параллельными вычислениями. Я использую что-то вроде: cl.tmp = makeCluster(10, type="SOCK") registerDoParallel(cl.tmp) AA <- foreach(i = 1:48, .inorder = TRUE, .combine = rbind, .verbose=TRUE) %dopar% { # A funct…
13 авг '15 в 18:29
0
ответов
Как использовать sfInit и makeCluster типа "MPI" / передача сообщений в R / распараллеливании на кластере
Я пытаюсь адаптировать этот скрипт R для теста скорости для работы на кластере. При использовании sfInit а также makecluster функции с типом "SOCK"затем сценарий запускается на кластере успешно, но без повышения скорости - в отличие от моего компьют…
11 авг '18 в 05:40
0
ответов
R Ошибка в checkForRemoteErrors(val): 4 узла выдали ошибки; Первая ошибка: "цитата (1:25)"
Когда я использую пакет snow для параллельных вычислений, в качестве заголовка возникает ошибка, которую я не могу найти аналогичной. Во-первых, я использую Lapply для запуска кода, все в порядке. Однако, когда я использую parLapply, ошибка выглядит…
17 окт '18 в 09:41