Starcluster, как выполнить конкретную задачу на отдельном узле
Работа над приложением Python, которое обрабатывает высокие статистические данные и выполняет длительные сложные вычисления.
Когда пользователь запрашивает асинхронный поток, он создает и начинает вычисления и сохраняет результаты в базе данных с равным интервалом, где, как и в главном потоке, мы продолжаем искать изменения в базе данных и обновляем пользователя результатами.
Теперь меня попросили использовать MIT Starcluster, который работает с AWS. Я создал ведущие и ведомые кластеры, и теперь мой вопрос заключается в том, как использовать MPI4py для выполнения вычислений на узле (ведомом) компьютере и всех других вещах на главном компьютере?
Я не написал никакого кода, но я нашел пример, который показывает, как он работает в смысле балансировки нагрузки,
Есть ли способ, как я могу вызвать конкретный API на компьютере узла, чтобы выполнить задачу на компьютере узла?