Описание тега dispy
NoneDispy - это модуль Python для распределенных и параллельных вычислений.
1
ответ
Кластер с Python и Dispy: не может соединить узел
Я пытаюсь создать raspberry-pi cluster с помощью dispy для школьного проекта. Просто чтобы попробовать это, я использую только один RPi в качестве node и мой компьютер как master что запрос работы. Ниже устройства и их ip (Ы): master (pc) --> 192…
02 ноя '15 в 14:28
1
ответ
Процесс узла с выделенной памятью в Python
Я разрабатываю с Apache и Django приложение для веб-приложений, в котором пользователи взаимодействуют с моделью данных (реализация C++, заключенная в Python). Чтобы избежать загрузки / сохранения данных в файл или базу данных после каждой пользоват…
24 июл '17 в 09:50
2
ответа
Как реализовать одну программу несколько данных (SPMD) в Python
Я прочитал документацию по многопроцессорности. в Python и обнаружил, что задача может быть назначена на разные ядра процессора. Мне нравится запускать следующий код (как начало) параллельно. from multiprocessing import Process import os def do(a): …
14 фев '15 в 03:07
0
ответов
Dispycos неблокирующие нити
Я расширяю потоки. Постараюсь достичь паралелизма следующим образом: class WorkerGenerico(threading. Thread): """ Clase con la funcionalidad principal de un worker genérico: Se inicia en un thread y se para de forma graceful mediante join (bloqueant…
26 ноя '18 в 12:54
2
ответа
Импорт модулей в python-заданиях с dispy
Я работаю с программой, которая работает в параллельном исполнении с дисплеем. Я использую dispy для создания задач, а затем распределяю их по разным процессорам для выполнения. У меня есть стандартные библиотеки и разработанные мной библиотеки (дан…
29 май '16 в 15:40
0
ответов
Как удалить узел из работающего кластера Dispy?
Мне нужно реализовать обработку ситуации, когда обнаруживается, что удаленный компьютер неправильно настроен или сломан, и вынимать его из кластера Dispy "на лету". if job.exception: cluster.removeNode(job.node) Можно ли это сделать с помощью текуще…
18 окт '18 в 04:36
1
ответ
Порт 51347, похоже, используется другой программой
О запуске примера кода, указанного в документации def compute(n): import time, socket time.sleep(n) host = socket.gethostname() return (host, n) if name == 'main': import dispy, random cluster = dispy.JobCluster(compute) jobs = [] for i in range(10)…
29 мар '17 в 17:19
4
ответа
Образец программы зависает
TL;DR: я не могу получить самое основное dispy пример кода для правильной работы. Почему бы и нет? Детали: Я пытаюсь перейти к распределенной обработке в python, и мне показалось, что библиотека dispy звучит интересно из-за обширного набора функций.…
14 июн '16 в 16:09
0
ответов
Dispy настройка удаленного сервера
Я новый пользователь библиотеки dispy, и у меня возникла следующая проблема: у меня есть 2 сервера в двух разных сетях с IP-адресами IP1 и IP2 и два пароля Pass1 и Pass2 для доступа к ним. Один из серверов будет моим клиентом. Оба сервера имеют один…
25 ноя '18 в 00:35
1
ответ
Может ли обратный вызов cluster_status отправлять новые задания?
Я занимаюсь разработкой скрипта, работающего с большим количеством объектов (да). Для каждого объекта необходимо выполнить несколько операций - только одна из них должна выполняться первой, остальные используют результаты первой работы и могут выпол…
07 сен '18 в 19:54
1
ответ
Почему dispynode возвращает "игнорирование ping" при обращении к клиенту dispy?
Я работаю с кластером серверов Centos6.5, где у меня есть один головной узел, а остальные являются подчиненными узлами. Узлы подключены через коммутатор в локальной сети 192.168.1.x, который не виден внешнему миру. Я пытаюсь использовать Python Disp…
07 янв '15 в 19:07
1
ответ
Python dispy - сохранить имена пакетов для зависимостей
Есть ли способ сохранить имена пакетов для модулей Python, которые передаются через функцию зависящего от dispy? Это позволило бы использовать пакеты / модули одинаково при вызове с контекстом дисплеев и без него. Простой пример: Модуль mypackage.di…
30 июн '16 в 17:29
0
ответов
Dispy, инициирующий SharedJobCluster на вычислительном узле
Я создаю вычислительный кластер в Python, используя dispy. Один из моих вариантов использования был бы очень хорошо решен путем запуска процесса на вычислительном узле, который сам запускает распределенный процесс. Поэтому я реализовал SharedJobClus…
16 ноя '16 в 14:21
1
ответ
Как обеспечить распространение тяжелой задачи на другие узлы, используя dispy?
В настоящее время я выполняю вычисление факториала из 10 случайных чисел, используя dispy, который "распределяет" задачи по различным узлам. Однако, если одно из вычислений имеет факториал большого числа, скажем, факториал (100), то, если эта задача…
16 мар '16 в 18:33
1
ответ
Использование диспута с переадресацией портов через туннель ssh
У меня dispynode работает на удаленном сервере. Я пытаюсь открыть SSH-туннель со своего компьютера (клиента) и настроить dispyJobCluster для использования этого туннеля. Но это не работает. Я не настраиваю это право? Вот как я это делаю: (ps. Я не о…
06 ноя '15 в 00:08
0
ответов
Проблемы общения с самозаверяющим сертификатом
Я пытаюсь защитить связь между двумя программами Python из одного пакета ( распределенный Python. Предполагается, что обе стороны используют один и тот же сертификат и ключ, который я гарантирую, используя ansible. И сертификат, и ключ объединяются …
30 ноя '18 в 17:02
0
ответов
Собственный способ настроить dispy и SSL
Я изо всех сил пытаюсь настроить dispy и SSL. Вот шаги, которые я сделал для настройки: Для создания сертификата я использовал команду: openssl req -x509 -newkey rsa:4096 -sha256 -nodes -keyout private.key -out private.crt -days 3650 Затем я объедин…
09 янв '18 в 19:31
0
ответов
Ждите любого результата, используя dispy
Есть ли способ проверить, готов ли какой-либо из результатов к дальнейшим действиям, и вызывать job () только для этого? (например, ждать на любом) "После отправки заданий cluster.wait () можно использовать для ожидания завершения всех отправленных …
06 мар '18 в 00:40
1
ответ
Глобальный кластерный объект для дисп
(1) Можно ли сделать кластерный объект глобальным для всех машин, чтобы после отправки задания это задание, в свою очередь, могло отправлять другие разнородные задания меньшего размера? cluster = dispy.JobCluster(compute) (2) Может ли функция "вычис…
05 мар '18 в 21:54
1
ответ
Совместное использование вычислений несколькими экземплярами EC2 в AWS
Я работаю над проблемой, когда вычислительная мощность должна быть распределена между несколькими экземплярами EC2. Я рассматриваю программу умножения матриц, например, огромная матрица с тысячами строк и столбцов требует ГБ оперативной памяти и выч…
07 мар '18 в 05:32