Где Apache Airflow хранит атрибуты задач (например, для BigQueryOperator)?
В веб-интерфейсе Airflow вы можете щелкнуть экземпляр задачи из своей группы DAG и просмотреть сведения об экземпляре задачи. на этой странице я вижу раздел "Атрибуты задачи", который включает bql и другую полезную информацию. Я пытаюсь придумать автоматический способ получения такой информации.
Я обнаружил, что, хотя я могу получить указанную выше информацию с помощью Airflow REST API, мне нужно будет передать конкретный идентификатор DAG и идентификатор задачи, чтобы REST API мог работать, и мне нужно было бы откуда-то запросить (например, база данных метаданных Airflow), чтобы получить список идентификаторов DAG и идентификаторов задач. Мне почему-то кажется, что использовать как базу данных метаданных, так и REST API может быть обременительно и некрасиво. Разве не должно быть более разумного способа получить все атрибуты задачи BigQueryOperator?
Мои старые предположения таковы: все, что мы видим из его веб-интерфейса, должно храниться либо в базе данных, либо в файлах. Так что я надеялся увидеть атрибуты задачи BigQueryOperator в db. Но его нет в базе метаданных.
Мои вопросы: 1) Где хранятся атрибуты задач, скажем, BigQueryOperator? 2) Есть ли более разумный способ получить атрибуты задач для всех задач BigQueryOperator во всех активных DAG в нашем проекте Airflow?
Прилагаемый скриншот - это то, что я имел в виду под "атрибутом задачи".
