Запустите код Python на SSH Target с помощью Airflow

Question

Запустите код Python на SSH Target с помощью Airflow

Есть 2 системы: A а также B. Планировщик воздушного потока, веб-сервер, Redis и цветок работают наA пока рабочий Airflow работает B. Обе системы работают под управлением Ubuntu 18.04 и используют Airflow 1.10.10 в контейнерах докеров.

Можно ли создать DAG, который удаленно запускает код Python (определенный в этом DAG) на B?

SSHOperator позволяет удаленно выполнить команду bash на B через SSH, но вместо этого нам требуется удаленное выполнение кода Python через SSH.

Спасибо!

1

python airflow airflow-scheduler airflow-operator airflow-worker

Источник

user3023615 23 июл '20 в 15:43

1 ответ

Другие вопросы по тегам python airflow airflow-scheduler airflow-operator airflow-worker

user12409572 10 июн '22 в 02:28 2022-06-10 02:28 · Answer 1 · 2022-06-10 02:28

Я не знаю, получили ли вы уже свой ответ, но у меня была очень похожая (если не та же самая) проблема, пока несколько минут назад я не подумал, что могу дать ответ здесь. Самый простой способ — смонтировать общую папку на обоих узлах, чтобы они оба могли получить доступ к фактическим физическим файлам DAG. Подробнее о моем случае можно узнать здесь.