В чем разница между использованием пакета doParallel с type = MPI и непосредственным использованием doMPI?

Question

В чем разница между использованием пакета doParallel с type = MPI и непосредственным использованием doMPI?

library(foreach)
library(doParallel)
cl <- makeCluster(mpi.universe.size(), type='MPI')
registerDoParallel(cl)
system.time(foreach(i = 1:3) %dopar% {Sys.sleep(i); i})

В.С.

library(doMPI)
cl <- startMPIcluster(count=2)
registerDoMPI(cl)
system.time(foreach(i = 1:3) %dopar% {Sys.sleep(i); i})

2

r foreach parallel-processing dompi

Источник

user9741036 10 май '18 в 09:07

1 ответ

Решение

Другие вопросы по тегам r foreach parallel-processing dompi

user2109128 11 май '18 в 18:05 2018-05-11 18:05 · Accepted Answer · 2018-05-11 18:05

Пакет "doParallel" действует как оболочка для функции "clusterApplyLB", которая реализуется путем вызова функций из пакета "Rmpi" при использовании кластера MPI.

Пакет "doMPI" напрямую использует функции "Rmpi" и включает некоторые функции, которые недоступны в "clusterApplyLB":

поддерживает выборку входных данных и комбинирование выходных данных на лету для эффективной обработки большого числа итераций цикла;
поддерживает вещание MPI для инициализации работников;
позволяет рабочим запускаться с помощью mpirun или функции spawn MPI.