Описание тега parallel-python
Parallel Python предоставляет механизм для параллельного выполнения кода Python в SMP (системы с несколькими процессорами или ядрами) и кластерах (компьютеры, подключенные через сеть)
0
ответов
Параллельное время ожидания Python порождает другой процесс вместо сбоя?
Используя параллельный python 1.6.4, я создал команду subprocess.Popen на удаленном сервере. По какой-то причине команда не завершается своевременно, т. Е. В установленном мною socket_timeout. В этом случае я ожидал, что параллельный python выйдет и…
20 ноя '13 в 17:53
2
ответа
Слишком много открытых файлов Ошибка параллельного Python-подпроцесса
Вопросы с похожей проблемой: Parallel Python - слишком много файлов и Python слишком много открытых файлов (подпроцессы) Я использую Parallel Python [V1.6.2] для запуска задач. Задача обрабатывает входной файл и выводит журнал / отчет. Скажем, есть …
20 дек '12 в 08:51
2
ответа
Параллельный Python: 4 потока имеют одинаковую скорость с 2 потоками
Я использую Parallel Python для выполнения вычислительного кода на нескольких ядрах. У меня процессор i7-4600M, который имеет 2 ядра и 4 потока. Интересно то, что вычисление занимает почти столько же времени, если я использую 2 или 4 тэды. Я написал…
14 дек '14 в 20:26
2
ответа
Параллельный Python: как мне предоставить аргументы для "отправки"?
Это только второй вопрос с тегом Parallels-Python. После просмотра документации и поиска по этой теме, я пришел сюда, потому что именно там мне повезло с ответами и предложениями. Ниже приведен API (я думаю, что он называется), который передает всю …
09 окт '09 в 22:49
0
ответов
ipyparallel для доступа к общему списку
Можно ли обеспечить атомарный доступ к общему списку запущенными механизмами из ipyparallel, чтобы никакие два механизма не считывали / записывали один и тот же элемент списка одновременно? Влияет ли GIL на ipyparallel? Использует ли ipyparallel про…
30 дек '17 в 22:46
1
ответ
Параллельный Python: ограничение на число процессов на ядро
Я работаю со следующим кодом (это только часть полного кода) в параллельном Python на компьютере с двумя ядрами import pp from scheduling import * from numpy import * def sched_pp_process(B,T,D,BL,blocks,number_block,number_core): ppservers = () job…
06 фев '15 в 02:05
2
ответа
Регистрация рабочих процессов с помощью Parallel Python
Я унаследовал некоторые научные вычисления с использованием Parallel Python в кластере. В Parallel Python задания передаются на ppserver, который (в данном случае) общается с уже запущенными процессами ppserver на других компьютерах, передавая задач…
23 окт '10 в 17:22
2
ответа
Параллельная запись в список в Python
Я получил несколько параллельных процессов записи в один список в Python. Мой код: global_list = [] class MyThread(threading.Thread): ... def run(self): results = self.calculate_results() global_list.extend(results) def total_results(): for param in…
09 сен '14 в 12:28
2
ответа
Как реализовать одну программу несколько данных (SPMD) в Python
Я прочитал документацию по многопроцессорности. в Python и обнаружил, что задача может быть назначена на разные ядра процессора. Мне нравится запускать следующий код (как начало) параллельно. from multiprocessing import Process import os def do(a): …
14 фев '15 в 03:07
0
ответов
Очередь задач общей памяти Python в кластере или отправка экземпляров классов через кластер
У меня есть параллельная программа на Python и доступ к кластеру. Я считаю, что подход, который мы хотим, состоит в том, чтобы все узлы имели доступ к некоторой общей памяти и генерировали очередь независимых задач, но я не могу найти библиотеку Pyt…
09 фев '18 в 13:01
2
ответа
Как динамически масштабировать StarCluster/qsub/EC2 для запуска параллельных заданий на нескольких узлах
Я новичок в использовании Startcluster/qsub/grid engine для запуска параллельных заданий, и я попытался прочитать пару других постов, касающихся того же самого. Я до сих пор не уверен, как построить масштабируемое решение для моих конкретных требова…
11 мар '13 в 08:52
1
ответ
Многопроцессорная обработка Python - выделить новую функцию для готового процесса?
У меня есть список из 800 файлов изображений, которые я хотел бы обрабатывать параллельно. Предположим, я храню их имена в списке как таковой: lis_fnames = ['im1.jpg','im2.jpg',...'] Затем я импортирую многопроцессорный модуль и из этого я импортиру…
23 мар '18 в 09:36
2
ответа
PicklingError на pp-модуле python
Я использую модуль pp для python. Что мне нужно сделать, так это запустить параллельно функцию "fmin" из scipy.optimize. Я импортирую fmin так: from scipy.optimize import fmin Далее я определяю функцию, которая выполняет функцию fmin следующим образ…
10 дек '12 в 18:57
0
ответов
Параллельный модуль Python с использованием другого сервера
Я использую параллельный Python для обработки некоторых чисел на нескольких компьютерах. Все работало нормально, пока я не подумал, что было бы неплохо включить некоторые занятия. Вот код для отправки на работу: for i in xrange(n_cpus): jobs.append(…
24 окт '13 в 16:35
1
ответ
Как заставить стандартный вывод работать с Parallel Python?
Мне интересно, можно ли сделать stdout работает с Parallel Python? Это действительно трудно отладить, не видя распечатки. Например, учитывая следующие фрагменты кода: import pp def printit(s): print s job_server = pp.Server() for i in xrange(100): j…
12 ноя '13 в 07:51
2
ответа
Загадочная проблема с параллельным Python - TRANSPORT_SOCKET_TIMEOUT
Следующий код не работает для меня должным образом. Для этого требуется запустить ppserver на другом компьютере в сети, например, с помощью следующей команды: ppserver.py -r -a -w 4 После запуска этого сервера на моем компьютере я запускаю следующий…
04 ноя '10 в 23:36
1
ответ
При использовании Parallel Python, есть ли способ узнать, на какой машине запущено задание?
Я написал простую программу с использованием параллельного Python, и все работает хорошо. Тем не менее, в основном ради любопытства, я хотел бы знать, на какой машине выполнялось каждое задание и сколько времени это заняло. Есть ли способ программно…
21 фев '10 в 22:39
1
ответ
Почему Parallel Python работает так, как работает?
В Parallel Python, почему необходимо обернуть все модули, которые понадобятся передаваемой функции, вместе с переменными и пространствами имен в этом вызове отправки задания - насколько необходимо сохранить "глобальные" переменные уровня модуля? (ес…
02 ноя '10 в 01:17
3
ответа
Структурирование программы. Классы и функции в Python
Я пишу программу, которая использует генетические методы для разработки уравнений. Я хочу иметь возможность отправить функцию 'mainfunc' в функцию 'submit' в Parallel Python. Функция mainfunc вызывает два или три метода, определенных в классе Utilit…
13 окт '09 в 16:14
1
ответ
Как определить процессы параллельного Python, в какой папке искать модули?
Я работаю на компьютерном кластере, на котором установлен NumPy 1.4.1 в обычной папке (/usr/lib64/....). Поскольку я хочу использовать NumPy 1.7.0, я установил его /.../myPath, и добавил export PYTHONPATH=/.../myPath к моему .bashrcтак, что использу…
06 мар '13 в 17:45