Как войти при использовании foreach (print или futile.logger)
Я хочу использовать foreach пакет в сочетании с регистрацией. Я обычно использую futile.logger пакет. Когда работа передается работникам, информация о регистрации теряется (что странно, так как вы должны указать, что нужно использовать пакет регистрации)
Я видел этот пост, но он не использует foreach
library(foreach)
library(futile.logger)
library(doParallel)
flog.threshold(DEBUG)
cluster <- makeCluster(8)
registerDoParallel(cluster)
doStuff <- function(input){
flog.debug('Doing some stuff with %s', input)
return(input)
}
res <- lapply(FUN=doStuff, X=seq(1,8,1))
# >> this prints
res2 <- foreach(input = seq(1,8,1)) %do% doStuff(input)
# >> this prints
res3 <- foreach(input = seq(1,8,1), .packages='futile.logger') %dopar% doStuff(input)
# >> this does not
identical(res,res2) && identical(res,res3)
Меня не особо волнует бэкэнд-параллель, может быть что угодно, но как же можно заставить протоколирование работать
1 ответ
Следуя решению из Как я могу печатать при использовании% dopar%: идея состоит в том, чтобы использовать snow настроить свой кластер, и установить outfile="" перенаправить рабочий вывод на мастер.
library(foreach)
library(futile.logger)
library(doParallel)
library(doSNOW)
cluster <- makeCluster(3, outfile="") # I only have 4 cores, but you could do 8
registerDoSNOW(cluster)
flog.threshold(DEBUG)
doStuff <- function(input){
flog.info('Doing some stuff with %s', input) # change to flog.info
return(input)
}
res <- lapply(FUN=doStuff, X=seq(1,8,1))
# >> this prints
res2 <- foreach(input = seq(1,8,1)) %do% doStuff(input)
# >> this prints
res3 <- foreach(input = seq(1,8,1), .packages='futile.logger') %dopar% doStuff(input)
# >> this prints too
Выход:
> res3 <- foreach(input = seq(1,8,1), .packages='futile.logger') %dopar% doStuff(input)
Type: EXEC
Type: EXEC
Type: EXEC
Type: EXEC
Type: EXEC
Type: EXEC
INFO [2016-08-08 08:22:39] Doing some stuff with 3
Type: EXEC
INFO [2016-08-08 08:22:39] Doing some stuff with 1
INFO [2016-08-08 08:22:39] Doing some stuff with 2
Type: EXEC
Type: EXEC
INFO [2016-08-08 08:22:39] Doing some stuff with 5
INFO [2016-08-08 08:22:39] Doing some stuff with 4
Type: EXEC
Type: EXEC
INFO [2016-08-08 08:22:39] Doing some stuff with 6
INFO [2016-08-08 08:22:39] Doing some stuff with 7
INFO [2016-08-08 08:22:39] Doing some stuff with 8
Вывод в файл журнала. Вот альтернатива, которая выводит в файл журнала, следующим образом Как войти, используя бесполезный регистратор из параллельного метода в R?, Преимущество в том, что выход более чистый, но все же требует flog.info:
library(doSNOW)
library(foreach)
library(futile.logger)
nworkers <- 3
cluster <- makeCluster(nworkers)
registerDoSNOW(cluster)
loginit <- function(logfile) flog.appender(appender.file(logfile))
foreach(input=rep('~/Desktop/out.log', nworkers),
.packages='futile.logger') %dopar% loginit(input)
doStuff <- function(input){
flog.info('Doing some stuff with %s', input)
return(input)
}
foreach(input = seq(1,8,1), .packages='futile.logger') %dopar% doStuff(input)
stopCluster(cluster)
readLines("~/Desktop/out.log")
Выход:
> readLines("~/Desktop/out.log")
[1] "INFO [2016-08-08 10:07:30] Doing some stuff with 2"
[2] "INFO [2016-08-08 10:07:30] Doing some stuff with 1"
[3] "INFO [2016-08-08 10:07:30] Doing some stuff with 3"
[4] "INFO [2016-08-08 10:07:30] Doing some stuff with 4"
[5] "INFO [2016-08-08 10:07:30] Doing some stuff with 5"
[6] "INFO [2016-08-08 10:07:30] Doing some stuff with 6"
[7] "INFO [2016-08-08 10:07:30] Doing some stuff with 7"
[8] "INFO [2016-08-08 10:07:30] Doing some stuff with 8"