Описание тега python-multiprocessing

NoneMultiprocessing - это пакет, который поддерживает порождение процессов с использованием API, аналогичного модулю потоковой передачи в языке программирования Python.
1 ответ

Процесс метода класса не меняет атрибуты объектов

Это мой второй день в Python, я обнаружил, что это действительно классный язык, и я хочу попробовать в нем разные вещи. Можно ли вызвать объект и создать демон метода этого объекта, который изменил бы атрибуты объекта? from multiprocessing import Pr…
07 окт '15 в 13:30
0 ответов

PyQT открыть несколько сайтов одновременно

Я хочу войти на несколько адресов электронной почты с помощью pyqt, проблема в том, что я хочу войти на них одновременно, я знаю, что это может быть достигнуто с помощью многопоточной обработки, а не многопоточности ( Python Webdriver Multithread), …
0 ответов

Многопроцессорность, sqlAlchemy и scoped_sessions

Я хочу запустить несколько стратегий в параллельных процессах. Я придумал что-то вроде этого import logging import multiprocessing import os from sqlalchemy.orm import scoped_session, Session from pyutil.sql.interfaces.symbols.symbol import Symbol f…
21 авг '18 в 08:43
1 ответ

Возврат больших объектов из дочерних процессов в многопроцессорной среде Python

Я работаю с многопроцессорным Python для порождения некоторых рабочих. Каждый из них должен возвращать массив размером в несколько МБ. Правильно ли, что, поскольку мой возвращаемый массив создан в дочернем процессе, его необходимо скопировать обратн…
1 ответ

Почему моя функция __exit__ диспетчера контекста запускается до того, как вычисления не будут завершены?

Функция выхода моего пользовательского диспетчера контекста, по-видимому, запускается до завершения вычислений. Мой менеджер контекста предназначен для упрощения написания параллельного / параллельного кода. Вот мой код менеджера контекста: import t…
1 ответ

Многопроцессорная обработка Python, не учитывающая LD_LIBRARY_PATH для динамической загрузки

Я работаю над проектом Python 3.5, который использует многопроцессорность, рабочий процесс должен иметь возможность вызывать скомпилированный код MATLAB. Чтобы не устанавливать переменную среды LD_LIBRARY_PATH перед запуском python (это вызывает кон…
3 ответа

Остановить многопроцессорный сервер Python BaseManager 'serve_forever'?

У меня есть следующие настройки в Python 3.6 для межпроцессного взаимодействия: from multiprocessing.managers import BaseManager class MyManager(BaseManager): pass MyManager.register('get_instance', callable=lambda:my_instance) m = MyManager(address…
0 ответов

python map.pool не перебирает список словарей словарей

У меня есть список словарей, которые содержат дополнительные словари в нем. Я использую многопроцессорную обработку этого списка. Насколько я понимаю, когда вы передаете pool.map(), он в основном отправляет отдельные элементы (в данном случае один с…
02 ноя '18 в 17:40
0 ответов

Мультипроцессинг и Tkinter (Python 3.x)

У меня есть сценарий Python, который должен имитировать простое движение планет, он работает нормально, и я добавил некоторый код для хранения всех координат пути планет, так что сценарий должен рассчитывать орбиту только один раз (по сути, он ренде…
1 ответ

Как применить многопроцессорность в python3.x для следующего вложенного цикла

for i in range(1,row): for j in range(1,col): if i > j and i != j: x = Aglo[0][i][0] y = Aglo[j][0][0] Aglo[j][i] = offset.myfun(x,y) Aglo[i][j] = Aglo[j][i] Aglo[][] - это двумерный массив, состоящий из списков в первой строке offset. Myfun () -…
12 июл '17 в 04:15
1 ответ

Относительно связи многопроцессорности с ядрами сервера

Для следующего кода, предположим, что у меня 32-ядерная машина, Python решит, сколько процессов создать для меня? from multiprocessing import Process for i in range(100): p = Process(target=run, args=(fileToAnalyse,)) p.start()
18 фев '15 в 07:46
1 ответ

Почему я не могу перебрать список (многопроцессорных) менеджеров?

У меня есть массив, состоящий из списков менеджера, таких как: [<ListProxy object, typeid 'list' at 0x177d350>, <ListProxy object, typeid 'list' at 0x177d390>, ...] и попытаться преобразовать его в чистый список. Мое рассмотрение выгляди…
15 ноя '15 в 14:29
1 ответ

Многопроцессорная очередь хранения списков списков

Я пытаюсь поставить в очередь список списков в процессе (в функции с именем proc ниже), а затем завершить процесс после того, как я позвоню event.set(), Моя функция proc всегда заканчивается, судя по распечатке, но сам процесс еще продолжается. Я мо…
23 май '18 в 03:14
1 ответ

Как обновить разделяемую переменную в отдельном процессе в многопроцессорной среде?

Я пытаюсь реализовать параллелизм с использованием Python. Я использую VS 2017 с Python версии 3.7. Мой код, как показано ниже: def do_parallelization(self, link_list): cpus = multi.cpu_count() workers = [] page_bins = self.__get_chunks(cpus, link_l…
2 ответа

Как передать исключение из одного процесса в другой?

Я хочу вызвать исключение в функции загрузки, если состояние остановки в функции остановки "остановлено". Это не похоже на работу. Я использую Pipe, чтобы передать исключение. Что случилось? def upload(instances, u1): for instance in instance: try: …
08 дек '16 в 18:26
1 ответ

Python пафос мутипроцессинга, один список и один объект в качестве аргументов

Я хочу использовать многопроцессорную обработку для ускорения нескольких вызовов функции, функция принимает в качестве аргумента два значения: переменную, которая изменяется для каждого вычисления, и постоянную переменную. Вот код, который эмулирует…
09 фев '18 в 01:06
1 ответ

Модель в родительской области не позволяет модели в области подпроцесса

Итак, вот проблема, с которой я сталкиваюсь. Я пытаюсь обучить модель многопроцессорности Process, но когда модель уже существует в родительской области, процесс будет остановлен при инициализации Embedding слой. from multiprocessing import Process,…
2 ответа

Проверьте, например, многопроцессорность Python. Соединение?

Connection объекты создаются при открытии multiprocessing.Pipe, Тем не менее, не ясно, как проверить, является ли объект экземпляром Connection, В Python3 (3.4, 3.3,!3.2) для обнаружения экземпляра Connection Я могу сделать: from multiprocessing.con…
1 ответ

Torque PBS против многопроцессорной обработки Python

У меня есть скрипт Python, который работает на сервере с 512 процессорами и 4 ТБ памяти. Скрипт использует модуль многопроцессорной обработки Python для параллельной обработки, разветвляя 30 параллельных дочерних процессов. Теперь мне нужно написать…
18 фев '15 в 16:40
0 ответов

В многопроцессорной среде spawn процесс для Python3 загружает внутреннюю функцию в модуль для выполнения

Пожалуйста, обратите внимание, что все нижеприведенное описание относится к методу многопроцессорной обработки "spawn" (для совместимости с Windows). Когда для многопроцессорной обработки задан метод "порождение", из основного файла загружается новы…