Исполнитель сообщает, что экземпляр задачи <TaskInstance: X [queued]> завершен (не выполнен), хотя задача сообщает, что находится в очереди. Была ли задача убита внешне?

У меня проблема с KubernetesExecutor + KubernetesPodOperator. На веб-сервере нет ошибки, единственная ошибка, которую я вижу, - это журнал планировщика, где написано:

[2020-09-11 05: 36: 13,724] {scheduler_job.py:1351} ОШИБКА - исполнитель сообщает об экземпляре задачи завершено (не выполнено), хотя в задаче указано, что она поставлена ​​в очередь. Была ли задача убита внешне? [2020-09-11 05:36:13,724] {dagbag.py:417} ИНФОРМАЦИЯ - Заполнение DagBag из /root/airflow/dags/kubernetes_sample.py [2020-09-11 05:36:13,734] {taskinstance.py:1150} ОШИБКА - исполнитель сообщает об экземпляре задачи завершено (неудачно), хотя задача сообщает, что находится в очереди. Была ли задача убита внешне?

Кто-нибудь сталкивался с этой проблемой и имел какое-либо решение?

Используемый файл Dag следующий

from airflow import DAG
from datetime import datetime, timedelta
from airflow.contrib.operators.kubernetes_pod_operator import KubernetesPodOperator
from airflow.operators.dummy_operator import DummyOperator

default_args = {
    'owner': 'airflow',
    'depends_on_past': False,
    'start_date': datetime.utcnow() - timedelta(days=1),
    'email': ['airflow@example.com'],
    'email_on_failure': False,
    'email_on_retry': False,
    'retries': 10,
    'retry_delay': timedelta(minutes=1)
}

dag = DAG(
    'kubernetes_sample', default_args=default_args, schedule_interval=None)

start = DummyOperator(task_id='run_this_first', dag=dag)

passing = KubernetesPodOperator(namespace='development',
                                image="python:3.6",
                                cmds=["python", "-c"],
                                arguments=["print('hello world')"],
                                labels={"foo": "bar"},
                                name="passing-test",
                                task_id="passing-task",
                                get_logs=True,
                                dag=dag
                                )

failing = KubernetesPodOperator(namespace='development',
                                image="ubuntu:16.04",
                                cmds=["python", "-c"],
                                arguments=["print('hello world')"],
                                labels={"foo": "bar"},
                                name="fail",
                                task_id="failing-task",
                                get_logs=True,
                                dag=dag
                                )

end = DummyOperator(task_id='end', dag=dag)

passing.set_upstream(start)
failing.set_upstream(start)
passing.set_downstream(end)
failing.set_downstream(end)
Источник

0 ответов

Другие вопросы по тегам