Airflow не будет записывать журналы после постановки в очередь
Я развернул Airflow в Kubernetes с помощью KubernetesExecutor. Кажется, все работает нормально, пока я не попытаюсь достать журналы. Пользовательский интерфейс показывает мне журналы, но на самом деле полные журналы не записываются. Для каждой выполняемой мной задачи с максимально возможным количеством операторов печати журналы будут отображаться только до состояния очереди, то есть я не могу видеть ни одного из зарегистрированных сообщений. Я пробовал с обычными операторами печати, а также с импортом журналов. Кроме того, я пробовал использовать разные диаграммы Helm и на всех получаю одинаковый результат. Чтение журналов из самого модуля Kubernetes дает тот же результат, что и пользовательский интерфейс воздушного потока.
[2021-08-16 21:47:44,062] {dagbag.py:448} ИНФОРМАЦИЯ - Заполнение DagBag из /home/airflow/.local/lib/python3.8/site-packages/airflow/example_dags/example_bash_operator.py Выполняется <TaskInstance: example_bash_operator.runme_1 2021-08-16T21:47:15.407072+00:00 [в очереди]> на хосте examplebashoperatorrunme1.6ef611f7e3c143d2a7a1df5e91984a82
Это полный журнал. Модули POD успешно завершают работу, и все вроде работает, а не журналы. Может ли кто-нибудь помочь мне, поскольку я несколько дней пробовал все возможные параметры в файле yaml и все еще застрял в этой проблеме?
Это не имеет отношения к удаленному ведению журнала, поскольку я даже не могу получить доступ к локальному ведению журнала.