Airflow не «видит», что основной модуль Kubernetes завершен
Мы используем размещенный Airflow 1.10.2 в Google Composer 1.7.5 для запуска заданий через
KubernetesPodOperator (задачи, которые будут выполняться в модуле Kubernetes внутри рабочего кластера)
Было несколько случаев, когда сам модуль Kubernetes успешно завершался, но Airflow не «видит», что модуль завершен (он не получает заметку), поэтому Airflow думает , что модуль все еще работает и не движется. на следующую задачу.
Мы планируем перейти на Composer 2 с Airflow 2.1.4, который, я уверен, лучше управляет модулями и связью с Kubernetes, но...
... есть ли "быстрая" настройка, которую мы можем сделать? Даже ссылка на то, как начать расследование, была бы полезна.
Заранее спасибо.