Описание тега ipython-parallel
Используйте этот тег для вопросов, связанных с архитектурой IPython для параллельных и распределенных вычислений.
0
ответов
Как я могу отладить iPython Parallel Engine смерти?
У меня работает группа двигателей. Когда я заставляю их работать над долгосрочными вычислениями, через пару минут они, кажется, просто тихо "умирают", один за другим, до тех пор, пока вычисление не остановится на неопределенное время, так как больше…
20 дек '16 в 18:55
0
ответов
ipyparallel logging собирается в стандартный вывод
У меня проблема с параллельными движками, игнорирующими мои настройки ведения журнала при использовании средства запуска SLURM. В моем коде я использую следующее для настройки ведения журнала: def setup_logger(logger_name, stdout = False, log_file =…
24 фев '18 в 19:58
0
ответов
iPython, выполняющий параллельные вычисления, застрял с результатами в странном состоянии
Я делаю несколько параллельных вычислений, оценивая правильность подбора по многим регрессиям. При этом (при выполнении ~60К вычислений) мне каким-то образом удалось вывести iPython в странное состояние. Выталкивание объектов во все узлы %%px model_…
24 июл '15 в 18:30
0
ответов
IPython Parallel изменяет пустые строки на месте
Читая документацию к IPython Parallel, он говорит, что буферы копируются между ядрами. Тем не менее, это говорит о том, что с помощью track = True можно редактировать буферы на месте. Следующий пример не работает для меня, даже с track = True: impor…
24 май '15 в 11:54
1
ответ
Стоит ли использовать IPython параллельно с eig scipy?
Я пишу код, который должен вычислять большое количество задач на собственные значения (типичная размерность матриц - несколько сотен). Мне было интересно, можно ли ускорить процесс с помощью IPython.parallel модуль. Как бывший пользователь MATLAB и …
24 июл '13 в 09:12
0
ответов
Есть ли у ipyparallel способ убить движки после завершения?
Я выполняю работу в кластере SLURM с около 1000 задач с использованием балансировки нагрузки. Некоторые задачи занимают значительно больше времени, чем другие. В идеале я бы выделил 1000 процессоров с помощью ипенгинов и использовал бы async_map рас…
22 май '18 в 01:45
1
ответ
Являются ли движки IPython независимыми процессами?
Из документации по обзору архитектуры IPython мы знаем, что... Механизм IPython - это экземпляр Python, который принимает команды Python через сетевое соединение. Учитывая, что это экземпляр Python, означает ли это, что эти движки являются самостоят…
28 май '15 в 21:51
2
ответа
IPython-IPyparallel ошибка импорта
Я скопировал все коды в рабочий каталог на всех моих машинах с двигателями. И мой код: my_test.py my_startegy.py main.py Так, main.py будет работать на Client Machineкоды в main.py являются: from ipyparallel import Client import my_test import my_st…
28 ноя '15 в 06:43
1
ответ
Многопроцессорная обработка Python для функции с несколькими функциями
Моя функция похожа на определение числа пи с помощью интегрального метода Монте-Карло. Функция в основном вставляет молекулу в случайное положение и оценивает энергию. Я преобразую цикл for в функцию для работы с несколькими ядрами, используя многоп…
14 фев '15 в 07:57
1
ответ
ipython с кластеризацией MPI с использованием машинного файла
Я успешно настроил mpi с поддержкой mpi4py на трех узлах в соответствии с тестированием сценария hellowworld.py в демонстрационном каталоге mpi4py: gms@host:~/development/mpi$ mpiexec -f machinefile -n 10 python ~/development/mpi4py/demo/helloworld.…
27 фев '16 в 21:03
1
ответ
IPython.parallel ValueError: невозможно создать массив OBJECT из буфера памяти
Я пытаюсь написать функцию, которая будет выполняться в нескольких движках IPython. Функция принимает Серию панд в качестве аргумента. Каждый элемент Серии является строкой, а вся Серия представляет собой корпус для вычисления TF.IDF. После прочтени…
09 июн '13 в 19:41
2
ответа
Как лучше всего обмениваться статическими данными между клиентом ipyparallel и удаленными механизмами?
Я запускаю одну и ту же симуляцию в цикле с разными параметрами. Каждое моделирование использует панду DataFrame (data) который только читается, никогда не изменяется. С помощью ipyparallel (Параллельно IPython), я могу поместить эти DataFrames в пр…
15 ноя '15 в 17:01
1
ответ
Как сделать умножение распределенной матрицы в numpy / ipython.parallel?
Я видел учебник о том, как сделать распределенный расчет: def parallel_dot(dview, A, B): dview.scatter('A', A) dview['B'] = B dview.execute('C = numpy.dot(A, B)') return dview.gather('C') np.allclose(parallel_dot(dview, A, B), np.dot(A, B)) Почему в…
17 ноя '14 в 05:10
1
ответ
Реализовать параллельную обработку цикла for
Чтобы сделать следующий код параллельным, он считывает данные в одном большом проприетарном формате 9 ГБ и создает 30 отдельных файлов CSV на основе 30 столбцов данных. В настоящее время требуется 9 минут на каждый CSV, записанный на 30-минутном наб…
09 дек '16 в 18:10
1
ответ
Параллельная IPython и производительность карты
Я использовал параллельные вычисления раньше через MPI (и Fortran:)). Я хотел бы использовать параллельные возможности IPython. Мой вопрос связан с низкой производительностью следующего кода, вдохновленного http://ipython.org/ipython-doc/dev/paralle…
06 окт '14 в 14:13
0
ответов
Использование Selenium с ipyparallel для веб-очистки
Я все еще очень плохо разбираюсь, и по пути наткнулся на несколько препятствий. Я хочу распараллелить мой соскоб с помощью ipyparallel, Мой процесс очистки включает использование Selenium, потому что информация, которую я, кажется, получаю, может бы…
19 авг '18 в 10:23
1
ответ
Передача объекта параллельного кластера IPython в пользовательский класс для пакетного выполнения
Я начинающий программист, пытающийся использовать python для научного программирования. Я думаю, что эти посты ( Как работать с интерактивно определенными классами в IPython.parallel? И пользовательском объекте параллельного push ipython) затрагиваю…
10 окт '14 в 00:35
1
ответ
IPython IPCluster разный путь для разных узлов
У меня есть два узла, на которых я хотел бы запустить движки IPython.parallel. Один из них - это linux box, другой работает под управлением MacOSX. На разных машинах имена каталогов немного различаются, и я не могу найти способ запустить SSHEngines …
19 май '15 в 20:58
0
ответов
Параллельное программирование на Python "Обратный путь недоступен"
Я пытаюсь запустить параллельный код в Python с использованием ipyparallel пакет. import ipyparallel as ipp # create client & view rc = ipp.Client() dv = rc[:] v = rc.load_balanced_view() def my(i): import numpy as np aa[:,:,i]=np.dot(uanom_L[:,…
01 окт '16 в 16:08
0
ответов
"Обработка задач отключена" или аналогичные проблемы с сокетами, встречающиеся в сеансах IPython.parallel
Интерфейс балансировки нагрузки IPython.parallel был великолепен. Я использовал его для выполнения сложных научных вычислений в небольшой кластерной среде. Несколько кластерных проблем, каждая из которых занимала 5-10 минут на ПК, были отправлены в …
15 окт '15 в 06:39