Описание тега mclapply
NoneMclapply is a parallelized version of lapply, it returns a list of the same length as X, each element of which is the result of applying FUN to the corresponding element of X.
0
ответов
tm_map имеет ошибку параллельного::mclapply в R 3.0.1 на Linux
Я использую R 3.0.1 на платформе: i486-pc-linux-gnu (32-разрядная версия). Я пытаюсь использовать tm_map из библиотеки tm. У меня 4080 слов в моем списке SmartStopWord. Но когда я выполняю этот код: library(tm) Get_Corpus <- system.file("texts","…
21 фев '14 в 10:53
0
ответов
R управление памятью с помощью mclapply и data.table
У меня действительно большой объект данных X (скажем, 10+ ГБ). Я хочу сделать некоторые операции в категориях внутри объекта, параллельно, чтобы сделать их быстрыми (например, много подходов модели прогнозирования). С точки зрения использования опер…
12 июл '17 в 15:29
1
ответ
R: TermDocumentMatrix - ошибка при создании
Я пытаюсь получить данные из твиттера и создать облако слов, но мой код выдает ошибку при создании TermDocumentMatrix. Мой код, как показано ниже twitter_search_data <- searchTwitter(searchString = text_to_search ,n = 500) twitter_search_text <…
07 май '16 в 13:10
0
ответов
mclapply в R: объект 'X' не найден
Я пытаюсь использовать mclapply из параллельного пакета (на Mac) и сталкиваюсь с проблемой. Я определил функцию edge.loop как: edge.loop <- function(index) { hw.edge <- E(G)[HW.edges][index] apath <- E(G)$emig.route[[hw.edge]] short.cut <…
26 фев '16 в 17:11
1
ответ
Функция tm::tm_map обнаруживает ошибку
У меня есть VCorpus "oanc", и я хочу изменить все слова на нижний регистр, поэтому я использую следующую функцию oanc1 <- tm_map(oanc, content_transformer(tolower)) Но я получил предупреждение: Warning message: In mclapply(content(x), FUN, ...) :…
13 июн '15 в 03:03
2
ответа
Минимизация накладных расходов с параллельными функциями в R
Я попытался сообщить об ошибке, с которой я столкнулся в mclapply, относительно того, что большие возвращаемые значения недопустимы. Очевидно ошибка была исправлена в версиях разработки, но меня больше интересует комментарий, который сделал ответч…
02 сен '16 в 20:37
2
ответа
mclapply с lme4 и длинными векторами
Я использую mclapply от parallel пакет для оценки моделей смешанного блеска с использованием lme4 пакет на высокопроизводительном кластере. У меня проблема, описанная здесь. Я применяю предложенное исправление добавления mc.preschedule=F, но проблем…
20 июн '18 в 11:07
1
ответ
Создание функции R для использования mclapply из многоядерного пакета
Мне нужно проанализировать некоторые смоделированные данные со следующей структурой: h c x1 y1 x1c10 1 0 37.607056431 104.83097593 5 1 1 27.615251557 140.85532974 10 1 0 34.68915314 114.59312842 2 1 1 30.090387454 131.60485642 9 1 1 39.274429397 106…
11 мар '13 в 02:16
0
ответов
Сбой mclapply с data.table
В настоящее время я столкнулся со странной ситуацией с циклом, который я распараллеливаю, используя mclapply. Параллельные вызовы иногда возвращают NULL с помощью mclapply, но все работает, когда я использую lapply. С mclapply все также работает хор…
02 мар '19 в 13:49
0
ответов
Разбить данные для смущающе параллельно с R?
У меня есть большой RDS-файл, с которым я хочу работать параллельно, используя R. Этот файл занимает 7,3 ГБ оперативной памяти при загрузке. Если я попытаюсь использовать много ядер, R вылетает, потому что ему не хватает памяти. Есть ли способ заста…
27 апр '15 в 15:00
1
ответ
mcapply: все запланированные ядра обнаружили ошибки в коде пользователя
Ниже мой код. Я пытаюсь получить список всех файлов (~20000), которые заканчиваются на .idat и читать каждый файл, используя функцию illuminaio::readIDAT, library(illuminaio) library(parallel) library(data.table) # number of cores to use ncores = 8 …
01 сен '16 в 20:02
2
ответа
mclapply возвращает NULL случайным образом
Когда я использую mclapply, время от времени (действительно случайно) это дает неверные результаты. Эта проблема довольно подробно описана в других публикациях в Интернете, например ( http://r.789695.n4.nabble.com/Bug-in-mclapply-td4652743.html). Те…
19 дек '13 в 06:08
1
ответ
Как я могу получить R's lapply (и mclapply), чтобы восстановить состояние генератора случайных чисел?
R игнорирует настройку .Random.seed внутри счастья. С помощью set.seed однако работает нормально. Некоторый код: # I can save the state of the RNG for a few seeds seed.list <- lapply( 1:5, function(x) { set.seed(x) seed.state <- .Random.seed p…
07 июл '12 в 19:08
1
ответ
Есть ли более быстрый способ применения логических операций для подмножества большого набора данных в R?
Первый пост на Stackru, так что будьте осторожны, если я не совсем правильно понял этикет. У меня есть большой фрейм данных (ну, на самом деле, семь из них, но это не важно), содержащий руки, взятые из колоды карт. У меня есть еще один массив, показ…
24 июн '13 в 11:18
1
ответ
Устаревание многоядерных (mclapply) в R 3.0
Я понимаю multicore устарела с версии 2.14 R, и мне посоветовали начать использовать пакет parallel который входит в основу R 3.0. Просматривая документацию parallelЯ обнаружил, что в основном есть две функции для вызова parallel а также collect нап…
29 май '13 в 22:38
0
ответов
expand.grid - попытаться решить проблему "невозможно выделить вектор размера"
Мне нужно создавать огромные data.frame комбинаций, но они мне не нужны все. Но, как я увидел здесь, функция expand.grid не может добавить конкретное условие, которое выбрасывает комбинация. Поэтому я решил пойти шаг за шагом. Например у меня varian…
03 апр '16 в 20:07
1
ответ
Может ли mclapply работать с CompressedRleList?
Может ли mclapply работать с CompressedRleList? Например, у меня есть вектор сигары (а), а cigarToRleList возвращает CompressedRleList для данного вектора: a = c("44M","44M","9S35M","44M","40M4S") b = cigarToRleList(a) Если я пытаюсь запустить mclap…
27 сен '13 в 17:22
2
ответа
Ускорьте работу группы data.table с помощью нескольких ядер и параллельного программирования
У меня большой код, и шаг агрегации является текущим узким местом с точки зрения скорости. В моем коде я хотел бы ускорить шаг группировки данных, чтобы быть быстрее. SNOTE (простой нетривиальный пример) моих данных выглядит так: library(data.table)…
29 сен '13 в 20:14
5
ответов
Есть ли способ отслеживать прогресс на mclapply?
Я люблю обстановку .progress = 'text' в plyr's llply, Тем не менее, это вызывает у меня большое беспокойство, чтобы не знать, как далеко mclapply (из пакета multicore), поскольку элементы списка отправляются различным ядрам, а затем в конце сопостав…
11 июн '12 в 17:10
1
ответ
Mclapply ждет, если есть выход на зависимости?
У меня есть следующая ситуация psuedocode: results1 <- mclapply(stuff, myfunc1()) results2 <- mclapply(morestuff, myfunc2()) finalresults <- mclapply(results1, results2) Является ли пакет достаточно умным, чтобы ждать, пока все потоки не бу…
09 июл '15 в 21:32