Линия задачи между Зависимыми Dags в Воздушном потоке

Question

У нас много ежедневных групп доступности баз данных, использующих Airflow. Зависимости были включены с использованием ExternalTaskSensor, TriggerDagRunOperator и пользовательских операторов

Образец:

Задача 1 в DAG A зависит от задачи 2 в DAG B
Задача 3 в DAG A зависит от задачи 4 в DAG C
Задача 5 в DAG A зависит от задачи 6 в DAG D
...

Задача 2 в DAG B зависит от задачи 7 в DAG E
Задача 4 в DAG B зависит от задачи 8 в DAG F ...

При проверке подробностей экземпляра задачи в пользовательском интерфейсе отображаются только downstream_task_ids и upstream_task_ids, принадлежащие одному и тому же тегу.

Как мы можем увидеть полную линию одной задачи через несколько групп доступности базы данных до последнего доступного уровня?

Answer 1

В настоящее время в воздушном потоке (v 1.8.1) отсутствует механизм просмотра перекрестных зависимостей.

В настоящее время, если вам нужна визуализация отношений между задачами, они должны быть в одном и том же значении. Потенциально представление в пользовательском плагине может показать эти зависимости, но стандартный пользовательский интерфейс этого не делает.