Воздушный поток Упакованные пакеты (Zip), не выбранные планировщиком

Question

Я пытаюсь использовать упакованный DAG с Celery Executor, но планировщик и рабочий не поднимают работу. Я перезапустил airflow webserver а также airflow scheduler но все равно безуспешно. Я даже сбросил БД с airflow resetdb но все равно ничего.

Я получаю следующие сообщения: -

[INFO] Handling signal: ttou
[INFO] Worker exiting (pid: 31418)
[INFO] Handling signal: ttin
[INFO] Booting worker with pid: 32308

Группы доступности баз данных не запускаются вручную или даже не выбираются планировщиком.

Мой zip-файл имеет следующее содержимое:

unzip alerting.zip   

creating: airflow_utils/
inflating: airflow_utils/enums.py  
inflating: airflow_utils/psql_alerting_dag.py  
extracting: airflow_utils/__init__.py  
inflating: airflow_utils/hive_alerting_dag.py  
inflating: airflow_utils/alerting_utils.py  
inflating: alerting_12hrs.py       
inflating: alerting_15mins.py      
inflating: alerting_3hrs.py 

Если я помещу все эти файлы в папку dags вместо их упаковки, планировщик воздушного потока сможет планировать dags.

Что я делаю не так с упакованными мешками?

Answer 1

Я был на Airflow 1.8.1, у которого были проблемы с загрузкой пакетов из почтового индекса. Эта проблема была исправлена ​​в 1.8.3. https://issues.apache.org/jira/browse/AIRFLOW-1357