Airflow 2 - отладка почему не загружается даг
В Airflow 2 мой тег не отображается в пользовательском интерфейсе, и я получаю для него ошибки импорта DAG (...) . Мне недостаточно сообщения об ошибке для отладки (это настраиваемый оператор с большим количеством настраиваемой логики, поэтому я не хочу вдаваться в подробности самой ошибки). В Airflow 1.X я мог бы использовать cli:
airflow list_dags
Чтобы получить более подробное сообщение об отладке, есть ли что-нибудь аналогичное в Airflow 2? Я ищу команду cli / параметр пользовательского интерфейса, которая предоставит мне более подробное сообщение об ошибке, чем то, которое я получаю на главном экране веб-сервера.
2 ответа
Как описано в документации Airlfow , для проверки загрузки DAG вы можете просто запустить:
python your-dag-file.py
Если на этапе загрузки DAG возникнут какие-либо проблемы, здесь вы получите трассировку стека.
В последующих разделах также описывается, как тестировать пользовательские операторы.
Как пояснили в модернизации ручной КНИГЕ
airflow list_dags
был изменен на
airflow dags list
Полный синтаксис:
airflow dags list [-h] [-o table, json, yaml] [-S SUBDIR]
для получения дополнительной информации см. документы