Можно ли запускать python параллельно в Azure VM?
У меня есть сценарий python, который запускает программы параллельно с использованием joblib, и он отлично работает (100% потребление процессора на локальном компьютере).
В последнее время я перенес скрипт python на виртуальную машину для обработки данных (DSVM) на лазурном сервере, но обнаружил, что логика многопроцессорной обработки не работает (потребление ЦП остается низким в среднем на уровне 5%).
Кто-нибудь знает, поддерживает ли виртуальная машина Azure распараллеливание? если да, то какой пакет Python мне следует использовать? В настоящее время используется "joblib".
Если нет, какие альтернативы вы можете предложить для распараллеливания на виртуальной машине Azure?
Заранее спасибо и будьте здоровы!!!
С уважением, Кельвин
1 ответ
Какая у вас операционная система на локальном компьютере (Windows, Linux, дистрибутив, версия)? был ли тестовый запуск на реальном HW или виртуальном? какая технология виртуализации (Hyper-V, vmware, др.)? Виртуализация, предлагаемая Azure, должна соответствовать реальному HW, поэтому я сначала посмотрю на ОС и зависимости в отношении распараллеливания, т. Е. Базы процессов или потоков и т. Д. Я не профессионал в Python, но думаю, что у вас должен быть способ идентифицировать что мешает одному процессу или потоку запустить другой, своего рода узкое место. Знание этого должно привести в правильном направлении к решению проблемы. Цезарь