Описание тега multiprocessing
Многопроцессорность - это использование двух или более центральных процессоров (ЦП) в одной компьютерной системе. Соответствующие детали реализации и использования зависят от операционной системы и языка программирования. Поэтому при использовании этого тега всегда добавляйте теги как для ОС, так и для языка.
1
ответ
Невозможно запустить несколько процессов Python одновременно
Я пытаюсь запустить многопроцессорную программу, но по какой-то причине процессы не запускаются одновременно, они ожидают завершения другой. Ниже приведен фрагмент кода и некоторые выводы. Могли бы вы, пожалуйста, посоветовать? Я использую Python 2.…
01 июн '17 в 11:00
1
ответ
Как я чередую эти процессы?
Я только начинаю изучать чередование, и у меня есть программа с двумя следующими процессами: Процесс № 1: shared int x; x = 7; while true { x = x - 1; x = x + 1; if (x != 7) printf("x is %d", x); Процесс № 2: shared int x: x = 7; while true { x = x …
16 май '18 в 02:49
0
ответов
Как обрабатывать несколько файлов внутри пула при многопроцессорной обработке
Я пытаюсь обработать несколько изображений из отдельных файлов, например, я пытаюсь обработать 3 папки, каждая из которых содержит 8 спутниковых изображений, и для каждого изображения я делаю 4 отдельных поправки атмосферы (математические уравнения)…
25 сен '17 в 21:13
0
ответов
Проблема с отображением в mmap и нескольких процессах
В первый раз, используя mmap, у меня есть программа, которая создает файл и делится им, чтобы другая программа могла получить к нему доступ. Вот как я его инициализировал в моем основном: //Main.c file = open(FILE_PATH, O_RDWR | O_CREAT | O_TRUNC, (…
19 фев '14 в 18:59
2
ответа
Драйвер Python Cassandra такая же производительность вставки, как копия
Я пытаюсь использовать Python async с Cassandra, чтобы проверить, могу ли я записывать записи в Cassandra быстрее, чем команда CQL COPY. Мой код Python выглядит так: from cassandra.cluster import Cluster from cassandra import ConsistencyLevel from c…
15 окт '15 в 16:13
1
ответ
Панды с rpy2 и многопроцессорностью
Я пытаюсь ускорить процесс, используя Панд и Р. Предположим, что у меня есть следующий фрейм данных: import pandas as pd from random import randint df = pd.DataFrame({'mpg': [randint(1, 9) for x in xrange(10)], 'wt': [randint(1, 9)*10 for x in xrang…
20 апр '15 в 18:37
1
ответ
Возврат больших объектов из дочерних процессов в многопроцессорной среде Python
Я работаю с многопроцессорным Python для порождения некоторых рабочих. Каждый из них должен возвращать массив размером в несколько МБ. Правильно ли, что, поскольку мой возвращаемый массив создан в дочернем процессе, его необходимо скопировать обратн…
22 окт '14 в 18:07
0
ответов
Не могу передать внутреннюю функцию объекту карты модуля multiprocessing.pool в Python
Я не могу передать внутреннюю функцию, возвращаемую функцией-оберткой, объекту мультипроцессорного пула в python . Вот простой код from multiprocessing import Pool def wrapper(): c = "choice" def inner( number): print (number , c) return inner if __…
05 окт '18 в 06:53
3
ответа
Может ли многопоточность или многопроцессорная обработка повысить производительность при анализе одной строки с несколькими регулярными выражениями?
Если я хочу проанализировать строку, используя десятки регулярных выражений,Может ли многопроцессорный или многопроцессорный модуль улучшить производительность?Другими словами, будет ли анализ строки в нескольких потоках или процессах быстрее, чем: …
02 апр '12 в 21:44
1
ответ
Создан экземпляр класса многопроцессных изменений Python
У меня есть список экземпляров классов, и я хочу параллельно вызывать один и тот же метод экземпляра, использовать pathos для возможности выбора метода экземпляра. Истинная проблема заключается в том, что когда я хочу изменить / добавить атрибут к э…
07 ноя '14 в 16:08
1
ответ
Многопроцессорная обработка Python.get() никогда не заканчивается
Я пришел сюда, потому что у меня проблема с многопроцессорностью в моем скрипте Python. мой код: def filter_list_of_list_values(myList,myFilterList): for index in range(len(myList)): print(index) sub_array = myList[index] for stopword in myFilterLis…
25 июн '18 в 22:22
0
ответов
Передача нескольких итераций в мультипроцессорный pool.map
У меня есть следующая функция (some_function), которую я передаю в pool.map. Код работает, но он значительно медленнее, чем последовательная обработка. Примечательно, что у меня есть 4 миллиона сгруппированных объектов, поэтому желание идти параллел…
26 авг '18 в 03:18
3
ответа
Как записать содержимое df в CSV-файл, используя многопроцессорность в Python
У меня есть функция, которая записывает содержимое df в CSV-файл. def writeToCSV(outDf, defFile, toFile, retainFlag=True, delim='\t', quotechar='"'): headers = [] fid = open(defFile, 'r') for line in fid: headers.append(line.replace('\r','').split('…
17 дек '17 в 21:17
1
ответ
R эквивалентно Python os.getpid() для параллельной обработки
Я часто использую параллельную обработку как в python (многопроцессорная библиотека), так и в r (пакеты snow и т. Д.). Одна вещь, которую я нахожу чрезвычайно полезной в Python, - это возможность регистрировать прогресс отдельных экземпляров, исполь…
30 сен '15 в 23:43
5
ответов
Поделиться списком между процессами на сервере Python
У меня есть простой UDPServer, который работает с многопроцессорностью. Я хочу создать список, который содержит информацию обо всех клиентах. Я использую Manager, но я не понимаю, как добавить информацию в список - мне нужен объект Transfer Manager …
22 авг '14 в 20:59
0
ответов
Производительность моей программы на Python падает при использовании многопроцессорности
Я пытаюсь ускорить выполнение следующей программы, поэтому я использовал многопроцессорность, как было предложено в ответах на последний заданный вопрос, а также по связанному вопросу. Итак, у меня есть следующая программа, которая работает очень ме…
14 дек '17 в 10:15
4
ответа
Подключайтесь и обрабатывайте несколько сырых сокетов одновременно в Python 2.x
Я новичок в Python, и пытаюсь изучить его "на работе". И я обязан это сделать. Я обязан общаться с 3 серверами с необработанным сокетом. Я могу легко сделать это последовательно. Но мне было интересно, есть ли способ, которым я могу общаться с этими…
01 сен '16 в 20:53
3
ответа
Остановить многопроцессорный сервер Python BaseManager 'serve_forever'?
У меня есть следующие настройки в Python 3.6 для межпроцессного взаимодействия: from multiprocessing.managers import BaseManager class MyManager(BaseManager): pass MyManager.register('get_instance', callable=lambda:my_instance) m = MyManager(address…
06 июл '17 в 05:03
0
ответов
Ошибка ввода-вывода Fedora и ошибка 111 при многопроцессорной обработке Python
У меня есть коллекция в mongodb 4.0.2, Я читаю эти документы через итерацию в python 2.7извлекая из них информацию и записывая ее в виде узлов и связей в neo4j 3.4.6, на моем fedora 26 машина. Вот несколько метрик. Коллекция монго насчитывает около …
04 сен '18 в 09:09
1
ответ
Инструменты Python для Visual Studio устанавливают точку останова в дочернем процессе
Есть ли способ установить точку останова в дочернем процессе, к которому можно подключиться Visual Studio? У меня не было успеха ни с чем, что я пробовал. Пример кода ниже. child = multiprocessing.Process(target=foo) def foo(): print "This is the ch…
09 ноя '12 в 18:13