Описание тега multiprocessing

Многопроцессорность - это использование двух или более центральных процессоров (ЦП) в одной компьютерной системе. Соответствующие детали реализации и использования зависят от операционной системы и языка программирования. Поэтому при использовании этого тега всегда добавляйте теги как для ОС, так и для языка.
1 ответ

Невозможно запустить несколько процессов Python одновременно

Я пытаюсь запустить многопроцессорную программу, но по какой-то причине процессы не запускаются одновременно, они ожидают завершения другой. Ниже приведен фрагмент кода и некоторые выводы. Могли бы вы, пожалуйста, посоветовать? Я использую Python 2.…
01 июн '17 в 11:00
1 ответ

Как я чередую эти процессы?

Я только начинаю изучать чередование, и у меня есть программа с двумя следующими процессами: Процесс № 1: shared int x; x = 7; while true { x = x - 1; x = x + 1; if (x != 7) printf("x is %d", x); Процесс № 2: shared int x: x = 7; while true { x = x …
0 ответов

Как обрабатывать несколько файлов внутри пула при многопроцессорной обработке

Я пытаюсь обработать несколько изображений из отдельных файлов, например, я пытаюсь обработать 3 папки, каждая из которых содержит 8 спутниковых изображений, и для каждого изображения я делаю 4 отдельных поправки атмосферы (математические уравнения)…
0 ответов

Проблема с отображением в mmap и нескольких процессах

В первый раз, используя mmap, у меня есть программа, которая создает файл и делится им, чтобы другая программа могла получить к нему доступ. Вот как я его инициализировал в моем основном: //Main.c file = open(FILE_PATH, O_RDWR | O_CREAT | O_TRUNC, (…
19 фев '14 в 18:59
2 ответа

Драйвер Python Cassandra такая же производительность вставки, как копия

Я пытаюсь использовать Python async с Cassandra, чтобы проверить, могу ли я записывать записи в Cassandra быстрее, чем команда CQL COPY. Мой код Python выглядит так: from cassandra.cluster import Cluster from cassandra import ConsistencyLevel from c…
15 окт '15 в 16:13
1 ответ

Панды с rpy2 и многопроцессорностью

Я пытаюсь ускорить процесс, используя Панд и Р. Предположим, что у меня есть следующий фрейм данных: import pandas as pd from random import randint df = pd.DataFrame({'mpg': [randint(1, 9) for x in xrange(10)], 'wt': [randint(1, 9)*10 for x in xrang…
20 апр '15 в 18:37
1 ответ

Возврат больших объектов из дочерних процессов в многопроцессорной среде Python

Я работаю с многопроцессорным Python для порождения некоторых рабочих. Каждый из них должен возвращать массив размером в несколько МБ. Правильно ли, что, поскольку мой возвращаемый массив создан в дочернем процессе, его необходимо скопировать обратн…
0 ответов

Не могу передать внутреннюю функцию объекту карты модуля multiprocessing.pool в Python

Я не могу передать внутреннюю функцию, возвращаемую функцией-оберткой, объекту мультипроцессорного пула в python . Вот простой код from multiprocessing import Pool def wrapper(): c = "choice" def inner( number): print (number , c) return inner if __…
05 окт '18 в 06:53
3 ответа

Может ли многопоточность или многопроцессорная обработка повысить производительность при анализе одной строки с несколькими регулярными выражениями?

Если я хочу проанализировать строку, используя десятки регулярных выражений,Может ли многопроцессорный или многопроцессорный модуль улучшить производительность?Другими словами, будет ли анализ строки в нескольких потоках или процессах быстрее, чем: …
1 ответ

Создан экземпляр класса многопроцессных изменений Python

У меня есть список экземпляров классов, и я хочу параллельно вызывать один и тот же метод экземпляра, использовать pathos для возможности выбора метода экземпляра. Истинная проблема заключается в том, что когда я хочу изменить / добавить атрибут к э…
07 ноя '14 в 16:08
1 ответ

Многопроцессорная обработка Python.get() никогда не заканчивается

Я пришел сюда, потому что у меня проблема с многопроцессорностью в моем скрипте Python. мой код: def filter_list_of_list_values(myList,myFilterList): for index in range(len(myList)): print(index) sub_array = myList[index] for stopword in myFilterLis…
25 июн '18 в 22:22
0 ответов

Передача нескольких итераций в мультипроцессорный pool.map

У меня есть следующая функция (some_function), которую я передаю в pool.map. Код работает, но он значительно медленнее, чем последовательная обработка. Примечательно, что у меня есть 4 миллиона сгруппированных объектов, поэтому желание идти параллел…
26 авг '18 в 03:18
2 ответа

Как записать содержимое df в CSV-файл, используя многопроцессорность в Python

У меня есть функция, которая записывает содержимое df в CSV-файл. def writeToCSV(outDf, defFile, toFile, retainFlag=True, delim='\t', quotechar='"'): headers = [] fid = open(defFile, 'r') for line in fid: headers.append(line.replace('\r','').split('…
17 дек '17 в 21:17
1 ответ

R эквивалентно Python os.getpid() для параллельной обработки

Я часто использую параллельную обработку как в python (многопроцессорная библиотека), так и в r (пакеты snow и т. Д.). Одна вещь, которую я нахожу чрезвычайно полезной в Python, - это возможность регистрировать прогресс отдельных экземпляров, исполь…
30 сен '15 в 23:43
5 ответов

Поделиться списком между процессами на сервере Python

У меня есть простой UDPServer, который работает с многопроцессорностью. Я хочу создать список, который содержит информацию обо всех клиентах. Я использую Manager, но я не понимаю, как добавить информацию в список - мне нужен объект Transfer Manager …
22 авг '14 в 20:59
0 ответов

Производительность моей программы на Python падает при использовании многопроцессорности

Я пытаюсь ускорить выполнение следующей программы, поэтому я использовал многопроцессорность, как было предложено в ответах на последний заданный вопрос, а также по связанному вопросу. Итак, у меня есть следующая программа, которая работает очень ме…
14 дек '17 в 10:15
4 ответа

Подключайтесь и обрабатывайте несколько сырых сокетов одновременно в Python 2.x

Я новичок в Python, и пытаюсь изучить его "на работе". И я обязан это сделать. Я обязан общаться с 3 серверами с необработанным сокетом. Я могу легко сделать это последовательно. Но мне было интересно, есть ли способ, которым я могу общаться с этими…
2 ответа

Остановить многопроцессорный сервер Python BaseManager 'serve_forever'?

У меня есть следующие настройки в Python 3.6 для межпроцессного взаимодействия: from multiprocessing.managers import BaseManager class MyManager(BaseManager): pass MyManager.register('get_instance', callable=lambda:my_instance) m = MyManager(address…
0 ответов

Ошибка ввода-вывода Fedora и ошибка 111 при многопроцессорной обработке Python

У меня есть коллекция в mongodb 4.0.2, Я читаю эти документы через итерацию в python 2.7извлекая из них информацию и записывая ее в виде узлов и связей в neo4j 3.4.6, на моем fedora 26 машина. Вот несколько метрик. Коллекция монго насчитывает около …
1 ответ

Инструменты Python для Visual Studio устанавливают точку останова в дочернем процессе

Есть ли способ установить точку останова в дочернем процессе, к которому можно подключиться Visual Studio? У меня не было успеха ни с чем, что я пробовал. Пример кода ниже. child = multiprocessing.Process(target=foo) def foo(): print "This is the ch…