Снег, inline & Rcpp:

Я написал функцию в Rcpp и скомпилировал это с inline, Теперь я хочу запустить его параллельно на разных ядрах, но получаю странную ошибку. Вот минимальный пример, где функция funCPP1 может быть скомпилирован и работает сам по себе, но не может быть вызван snow"s clusterCall функция. Функция хорошо работает как отдельный процесс, но выдает следующую ошибку при параллельном запуске:

Error in checkForRemoteErrors(lapply(cl, recvResult)) : 
  2 nodes produced errors; first error: NULL value passed as symbol address

А вот код:

## Load and compile
library(inline)
library(Rcpp)
library(snow)
src1 <- '
     Rcpp::NumericMatrix xbem(xbe);
     int nrows = xbem.nrow();
     Rcpp::NumericVector gv(g);
     for (int i = 1; i < nrows; i++) {
      xbem(i,_) = xbem(i-1,_) * gv[0] + xbem(i,_);
     }
     return xbem;
'
funCPP1 <- cxxfunction(signature(xbe = "numeric", g="numeric"),body = src1, plugin="Rcpp")

## Single process
A <- matrix(rnorm(400), 20,20)
funCPP1(A, 0.5)

## Parallel
cl <- makeCluster(2, type = "SOCK") 
clusterExport(cl, 'funCPP1') 
clusterCall(cl, funCPP1, A, 0.5)
Источник

2 ответа

Решение

Продумайте это - что делает inline? Он создает функцию C/C++ для вас, затем компилирует и связывает ее в динамически загружаемую разделяемую библиотеку. Где тот сидит? Во временном каталоге R

Итак, вы попробовали правильно, отправив интерфейс R, вызывающий эту разделяемую библиотеку, в другой процесс (у которого есть другой временный каталог!!), но он не получает файл dll / so.

Следовательно, совет состоит в том, чтобы создать локальный пакет, установить его и запустить как снежные процессы, так и вызвать его.

(И как всегда: ответы лучшего качества можно найти в списке rcpp-devel, который читают больше участников Rcpp, чем SO).

Источник

Старый вопрос, но я наткнулся на него, просматривая верхние теги Rcpp, так что, возможно, этот ответ будет все еще полезен.

Я думаю, что ответ Дирка верен, когда код, который вы написали, полностью очищен от ошибок и делает то, что вы хотите, но это может быть трудной задачей - написать новый пакет для такого небольшого фрагмента кода, как в примере. Вместо этого вы можете экспортировать блок кода, экспортировать функцию "помощник", которая компилирует исходный код и запускает помощник. Это сделает функцию CXX доступной, а затем использует другую вспомогательную функцию для ее вызова. Например:

# Snow must still be installed, but this functionality is now in "parallel" which ships with base r.
library(parallel)

# Keep your source as an object
src1 <- '
     Rcpp::NumericMatrix xbem(xbe);
     int nrows = xbem.nrow();
     Rcpp::NumericVector gv(g);
     for (int i = 1; i < nrows; i++) {
      xbem(i,_) = xbem(i-1,_) * gv[0] + xbem(i,_);
     }
     return xbem;
'
# Save the signature
sig <- signature(xbe = "numeric", g="numeric")

# make a function that compiles the source, then assigns the compiled function 
# to the global environment
c.inline <- function(name, sig, src){
    library(Rcpp)
    funCXX <- inline::cxxfunction(sig = sig, body = src, plugin="Rcpp")
    assign(name, funCXX, envir=.GlobalEnv)
}
# and the function which retrieves and calls this newly-compiled function 
c.namecall <- function(name,...){
    funCXX <- get(name)
    funCXX(...)
}

# Keep your example matrix
A <- matrix(rnorm(400), 20,20)

# What are we calling the compiled funciton?
fxname <- "TestCXX"

## Parallel
cl <- makeCluster(2, type = "PSOCK") 

# Export all the pieces
clusterExport(cl, c("src1","c.inline","A","fxname")) 

# Call the compiler function
clusterCall(cl, c.inline, name=fxname, sig=sig, src=src1)

# Notice how the function now named "TestCXX" is available in the environment
# of every node?
clusterCall(cl, ls, envir=.GlobalEnv)

# Call the function through our wrapper
clusterCall(cl, c.namecall, name=fxname, A, 0.5)
# Works with my testing

Я написал пакет ctools (бесстыдное самореклама), который включает в себя множество функциональных возможностей параллельных пакетов и пакетов Rhpc для кластерных вычислений, как с PSOCK, так и с MPI. У меня уже есть функция с именем "c.sourceCpp", которая вызывает "Rcpp::sourceCpp" на каждом узле почти так же, как и выше. Я собираюсь добавить в "c.inlineCpp", который делает выше, теперь, когда я вижу его полезность.

Редактировать:

В свете комментариев Coatless, Rcpp::cppFunction() на самом деле отрицает необходимость c.inline помощник здесь, хотя c.namecall все еще нужно

src2 <- '
 NumericMatrix TestCpp(NumericMatrix xbe, int g){
        NumericMatrix xbem(xbe);
        int nrows = xbem.nrow();
        NumericVector gv(g);
        for (int i = 1; i < nrows; i++) {
            xbem(i,_) = xbem(i-1,_) * gv[0] + xbem(i,_);
        }
        return xbem;
 }
'

clusterCall(cl, Rcpp::cppFunction, code=src2, env=.GlobalEnv)

# Call the function through our wrapper
clusterCall(cl, c.namecall, name="TestCpp", A, 0.5)
Источник

Я решил это путем поиска на каждом узле кластера кластера файла R с нужной встроенной функцией C:

clusterEvalQ(cl, 
    {
     library(inline)
     invisible(source("your_C_func.R"))
    })

И ваш файл your_C_func.R должен содержать определение функции C:

c_func <- cfunction(...)
Источник
Другие вопросы по тегам