Описание тега pathos
'pathos' предоставляет ответвление python 'multiprocessing', где 'pathos.multiprocessing' может отправлять гораздо более широкий диапазон встроенных типов python через параллельные 'map' и 'pipe' (аналогично python 'map' и ' применять'). 'pathos' также обеспечивает унифицированный интерфейс для параллелизма между процессорами, потоками, сокетами (с использованием вилки 'parallelpython') и через 'ssh'.
1
ответ
Создан экземпляр класса многопроцессных изменений Python
У меня есть список экземпляров классов, и я хочу параллельно вызывать один и тот же метод экземпляра, использовать pathos для возможности выбора метода экземпляра. Истинная проблема заключается в том, что когда я хочу изменить / добавить атрибут к э…
07 ноя '14 в 16:08
1
ответ
Многопроцессорная ошибка не определена
Я использую следующий тестовый код: from pathos.multiprocessing import ProcessingPool as Pool import numpy def foo(obj1, obj2): a = obj1**2 b = numpy.asarray(range(1,5)) return obj1, b if __name__ == '__main__': p = Pool(5) res = p.map(foo, [1,2,3],…
04 авг '16 в 19:23
1
ответ
Пафос: принуждаем порождение на Linux
У меня есть код Python, который работает в Windows, однако при работе в Linux он просто зависает. Я использую JPype, поэтому я подозреваю, что может быть некоторая проблема с несколькими общими процессами, пытающимися использовать один и тот же кана…
15 ноя '16 в 17:12
1
ответ
Python: многопроцессорность, пафос и что нет
Я должен заранее извиниться, потому что этот вопрос носит довольно общий характер и может быть недостаточно ясным. Вопрос в том, как бы вы параллельно запустили функцию Python, которая сама использует пул процессов для некоторых подзадач и выполняет…
07 июл '15 в 15:06
2
ответа
Как передать * аргументы пафосу
У меня следующая проблема: я хотел бы использовать amap от pathos.multiprocessing. import pathos as pt class Foo: def __init__(self): pass def f(self, a, b, c): return a + b + c def g(self): pool = pt.multiprocessing.ProcessPool() def _h(a, b, c): k…
17 окт '17 в 13:27
2
ответа
Пафосный пакет в операционной системе Windows
Привет, может кто-нибудь сказать мне, как я могу установить пафосный пакет python в ОС Windows. Я хотел установить пафос в ОС Windows. Я получил ошибку для маринования и отравления,
23 окт '15 в 00:32
1
ответ
Мультипроцессинг -> pathos.multiprocessing и Windows
В настоящее время я использую стандартную многопроцессорность в Python для генерации множества процессов, которые будут работать бесконечно. Я не особенно обеспокоен производительностью; каждый поток просто наблюдает за различными изменениями в файл…
30 июл '15 в 20:02
2
ответа
Понимание параллельного списка с использованием карты пула
У меня есть понимание списка: thingie=[f(a,x,c) for x in some_list] который я распараллеливаю следующим образом: from multiprocessing import Pool pool=Pool(processes=4) thingie=pool.map(lambda x: f(a,x,c), some_list) но я получаю следующую ошибку: _…
21 май '15 в 13:00
0
ответов
pathos.multiprocessing выдает ошибку pickle при работе на платформе Linux
Я пытаюсь распределить задания по нескольким узлам в кластере, используя модуль dispy в python. Я делаю два уровня параллельного выполнения. Первый уровень в представлении заданий, второй уровень на каждом узле. Первоначально я использовал многопроц…
27 сен '16 в 16:52
0
ответов
"не удалось загрузить глиф" в многопроцессорной среде
Я сталкиваюсь с проблемой использования пафосной многопроцессорной обработки, которая запускает функцию сохранения фигуры. from pathos.multiprocessing import ProcessingPool as Pool datasets = Pool().map(model_handler, analysisParams) который бросает…
25 сен '18 в 02:04
1
ответ
Очередь мультипроцессинга внутри Manger.Namespace()
В настоящее время я создаю класс, который должен выполнять некоторые методы многопоточным способом, используя multiprocessing модуль. Я выполняю реальные вычисления, используя Pool из n работников. Теперь я хотел назначить каждый из n Активные работ…
20 окт '17 в 19:46
0
ответов
Эффективная память SMP в питоне
У меня сложный в вычислительном отношении проект, который, кажется, является хорошим кандидатом для распараллеливания. Код использует большое количество контуров ГИС и занимает примерно 1,5 ГБ памяти как единый процесс. Существует два уровня логики,…
26 май '16 в 17:35
2
ответа
Python Watchdog порождает многопроцессорность
Я пишу файлы (в очень быстром темпе) в определенный каталог. Я хотел бы отслеживать каталог на наличие новых файлов, а затем порождать процесс, который запускает внешний скрипт. Прямо сейчас я получаю ошибку травления (хотя я использую Pathos) Can't…
20 май '16 в 19:05
1
ответ
Как запустить вложенные, иерархические пафосные многопроцессорные карты?
Собрав значительную часть своего кода на сериализации / травлении укропов, я также пытаюсь использовать пафосную многопроцессорность для распараллеливания моих вычислений. Пафос это естественное продолжение укропа. При попытке запустить вложенный fr…
15 окт '16 в 15:43
0
ответов
Многопроцессорная обработка Python не ускоряется
У меня есть код, где общий ресурс изменяется при вызове функции. Пока что для каждого входного вектора (входная матрица измерения rxc) я запускаю его последовательно. Я хочу изменить общий ресурс (скажем, R) при каждом вызове функции. До сих пор я п…
23 окт '17 в 23:17
0
ответов
Как исправить ошибку AssertionError в многопроцессорном модуле pathos.helpers?
Я использую многопроцессорный модуль на основе укропа из pathos.helpers, который имеет однозначное сопоставление с регулярным multiprocessing, Это работало нормально, пока я не начал получать AssertionError, Мой вопрос очень похож на то, что многопр…
10 янв '19 в 03:38
1
ответ
Есть ли у pathos.multiprocessing starmap?
Я получил ошибку при выполнении кода ниже. Проблема, кажется, map не поддерживает функции, принимающие несколько входов, как во встроенном Python multiprocessing пакет. Но во встроенном пакете есть starmap это решает эту проблему. Есть ли pathos.mul…
23 янв '19 в 09:42
1
ответ
Эквивалент многопроцессорности. Процесс в пафосе
Я пытался бесконечно долго использовать следующий фрагмент кода для чтения из консоли: def read_console(hub): while True: text = input("write stuff") if text == 'y': hub.server.invoke('Say', 'hello') print (text) connection = Connection('https://123…
04 фев '19 в 22:16
0
ответов
Многопроцессорная обработка python с функцией, связанной с набором данных netcdf4
Я сделал функцию, которая рассчитывает производительность корабля на основе данных о погоде. Данные о погоде интерполируются из файла netcdf4, который использует netcdf4.Dataset. Код выглядит как ниже. def get_weather_info(self,longitude, latitude, …
13 дек '18 в 21:10
3
ответа
Python Multiprocessing - завершить / перезапустить рабочий процесс
У меня есть несколько длительных процессов, которые я хотел бы разделить на несколько процессов. С этой частью я могу справиться без проблем. Проблема, с которой я сталкиваюсь, заключается в том, что иногда эти процессы переходят в зависшее состояни…
01 авг '17 в 21:28