mcapply: все запланированные ядра обнаружили ошибки в коде пользователя

Question

Ниже мой код. Я пытаюсь получить список всех файлов (~20000), которые заканчиваются на .idat и читать каждый файл, используя функцию illuminaio::readIDAT,

library(illuminaio)
library(parallel)
library(data.table)

# number of cores to use
ncores = 8

# this gets all the files with .idat extension ~20000 files
files <- list.files(path = './',
                    pattern = "*.idat",
                    full.names = TRUE)

# function to read the idat file and create a data.table of filename, and two more columns
# write out as csv using fwrite
get.chiptype <- function(x)
{
  idat <- readIDAT(x)
  res <- data.table(filename = x, nSNPs = nrow(idat$Quants), Chip = idat$ChipType)
  fwrite(res, file.path = 'output.csv', append = TRUE)
}

# using mclapply call the function get.chiptype on all 20000 files.
# use 8 cores at a time
mclapply(files, FUN = function(x) get.chiptype(x), mc.cores = ncores)

После прочтения и записи информации о 1200 файлах я получаю следующее сообщение:

Warning message:
In mclapply(files, FUN = function(x) get.chiptype(x), mc.cores = ncores) :
  all scheduled cores encountered errors in user code

Как мне решить это?

Answer 1

Призвание mclapply() в некоторых случаях требуется указать генератор случайных чисел, который допускает несколько потоков случайных чисел. Версия R 2.14.0 имеет реализацию генератора псевдослучайных чисел Пьера Л'Экуера.

Попробуйте добавить следующее до mclapply() вызов с предварительно заданным значением для 'my.seed":

set.seed( my.seed, kind = "L'Ecuyer-CMRG" );