Как войти, используя бесполезный логгер из параллельного метода в R?

Question

Я использую бесполезный регистратор в R для регистрации. У меня есть параллельный алгоритм, реализованный с использованием снегопада в R. Каждое ядро ​​параллельного процесса регистрирует промежуточный вывод в регистраторе. Но этот вывод не отображается в логгере?

Можем ли мы войти, используя бесполезный регистратор из параллельной работы, используя снегопад?

добавив, как это было сделано:

Мой конкретный случай был немного другим. Я вызываю функцию C из R, используя общий объект, который я создал. Функция является итеративным алгоритмом, и мне нужно, чтобы выходные данные регистрировались каждые несколько итераций. Я был заинтересован в регистрации от функции C до бесполезного регистратора. Почему бесполезный регистратор? Потому что это часть веб-приложения, и имеет смысл иметь весь вывод для пользовательского сеанса в согласованном формате.

Это общий подход, который я придерживался на основе принятого ответа.

# init script
# iter logger namespace global variable
assign("MCMC_LOGGER_NAMESPACE", "iter.logger", envir = .GlobalEnv)  

loginit <- function(logfile) { 
  require('futile.logger')
  flog.layout(layout.simple, name = ITER_LOGGER_NAMESPACE)  
  flog.threshold(TRACE, name = ITER_LOGGER_NAMESPACE)
  flog.appender(appender.file(logfile), name = ITER_LOGGER_NAMESPACE)   
  NULL
}

parallel_funct_call_in_R <- function(required args) {    
require('snowfall')  
sfSetMaxCPUs() 
sfInit(parallel = TRUE, cpus = NUM_CPU) 
sfLibrary(required libs)
sfExport(required vars including logger namespace variable ITER_LOGGER_NAMESPACE)
iterLoggers = sprintf(file.path(myloggingdir, 'iterativeLogger_%02d.log', fsep = .Platform$file.sep), seq_len(NUM_CPU))
sfClusterApply(iterLoggers, loginit)  
sfSource(required files)
estimates <- sfLapply(list_to_apply_over, func_callling_C_from_R, required args)
sfStop()  
return(estimates)
}

iterTrackNumFromC <- function(numvec){
# convert numvec to json and log using flog.info
# the logger namespace has already been registered in the individual cores
flog.info("%s", toJSON(numvec), name = ITER_LOGGER_NAMESPACE) 
}

func_callling_C_from_R <- function(args){
 load shared obh using dyn.load
estimates = .C("C_func", args, list(iterTrackNumFromC)) # can use .Call also I guess
return(estimates)
}

Теперь функция C

void C_func(other args, char **R_loggerfunc){ // R_loggerfunc is passed iterTrackNumFromC    
// do stuff
// call function that logs numeric values to futile.logger
logNumericVecInR();
}

void logNumericVecInR (char *Rfunc_logger, double *NumVec, int len_NumVec){        
    long nargs = 1;        
    void *arguments[1];
    arguments[0] = (double*)NumVec;    
    char *modes[1];
    modes[0] = "double";        
    long lengths[1];
    lengths[0] = len_NumVec;        
    char *results[1];
    //    void call_R(char *func, long nargs, void **arguments, char **modes, long *lengths, char **names, long nres, char **results)    
    call_R(Rfunc_logger, nargs, arguments, modes, lengths, (char**)0, (long)1, results);
}

Надеюсь это поможет. Если у R и C есть более простой способ использовать общий логгер, пожалуйста, дайте мне знать.

Answer 1

Простой способ использовать пакет futile.logger из программы для снегопада - это использовать sfInitslaveOutfile='' вариант, чтобы рабочий вывод не перенаправлялся.

library(snowfall)
sfInit(parallel=TRUE, cpus=3, slaveOutfile='')
sfLibrary(futile.logger)
work <- function(i) {
  flog.info('Got task %d', i)
  i
}
sfLapply(1:10, work)
sfStop()

Это интерфейс снегопада к снегу makeClusteroutfile='' вариант. Он может не работать должным образом с интерфейсами GUI, такими как Rgui, в зависимости от того, как они обрабатывают вывод процесса, но он работает в Windows, используя Rterm.exe.

Я думаю, что лучше указать разные файлы журналов для каждого работника. Вот пример этого:

library(snowfall)
nworkers <- 3
sfInit(parallel=TRUE, cpus=nworkers)

loginit <- function(logfile) {
  library(futile.logger)
  flog.appender(appender.file(logfile))
  NULL
}
sfClusterApply(sprintf('out_%02d.log', seq_len(nworkers)), loginit)

work <- function(i) {
  flog.info('Got task %d', i)
  i
}
sfLapply(1:10, work)
sfStop()

Это позволяет избежать лишних выходных данных, поступающих со снега, и помещает сообщения журнала каждого работника в отдельный файл, что может быть менее запутанным.