работает KubernetesPodOperator

Question

Я использую воздушный поток на Kubernetes и использую "Оператор Kubernetes". Когда я запускаю BashOperator или PythonOperator, он отлично работает, используя:

executor_config = {
    "KubernetesExecutor": {
    "image": "image_with_airflow_and_my_code:latest"        
    }
}

Когда я пытаюсь запустить run dag с KubernetesPodOperator, он терпит неудачу

например:

k = KubernetesPodOperator(namespace='default',
    image="ubuntu:18.04",
    cmds=["bash", "-cx"],
    arguments=["echo", "10"],
    name="test",
    task_id="task",
    is_delete_operator_pod=False,
    dag=dag
)

Я вижу, что созданный образ докера - это не образ, который я указал выше (ubuntu:18.04), а образ по умолчанию из конфигурации (AIRFLOW__KUBERNETES__WORKER_CONTAINER_REPOSITORY)

в журнале планировщика вижу:

[2019-10-06 12: 59: 56,279] {{scheduler_job.py:921}} ИНФОРМАЦИЯ - 1 задача для выполнения: [2019-10-06 12: 59: 56,325] {{scheduler_job.py:953}} ИНФОРМАЦИЯ - определение задач для запуска в пуле (name = default_pool) со 128 открытыми ячейками и 1 экземпляром задачи, готовым к постановке в очередь [2019-10-06 12: 59: 56,326] {{scheduler_job.py:981}} ИНФОРМАЦИЯ - DAG koperator имеет 0/16 запущенных и поставленных в очередь задач [2019-10-06 12: 59: 56,361] {{scheduler_job.py:1031}} ИНФОРМАЦИЯ - перевод следующих задач в состояние очереди: [2019-10-06 12:59: 56,398] {{scheduler_job.py:1107}} ИНФОРМАЦИЯ - перевод следующих 1 задач в состояние очереди: [2019-10-06 12: 59: 56,401] {{scheduler_job.py:1143}} ИНФОРМАЦИЯ - Отправка ('koperator', 'task', datetime.datetime (2019, 10, 6, 12, 59, 50, 146375, tzinfo =), 1) исполнителю с приоритетом 1 и по умолчанию для очереди [2019-10-06 12:59:56,403] {{base_executor.py:59}} ИНФОРМАЦИЯ - Добавление в очередь: ['воздушный поток', 'запуск', 'оператор', 'задача', '2019-10-06T12: 59: 50.146375 + 00: 00', '--local', '--pool', 'default_pool', '-sd', '/usr/local/airflow/dags/KubernetesPodOperator.py'] [2019-10-06 12: 59: 56,405] {{ kubernetes_executor.py:764}} ИНФОРМАЦИЯ - Добавьте задачу ('оператор', 'задача', datetime.datetime (2019, 10, 6, 12, 59, 50, 146375, tzinfo =), 1) с помощью команды ['airflow', 'запустить', 'оператор', 'задача', '2019-10-06T12: 59: 50.146375 + 00: 00', '--local', '--pool', 'default_pool', '-sd', '/usr/local/airflow/dags/KubernetesPodOperator.py'] с executor_config {} [2019-10-06 12:59: 56,417] {{kubernetes_executor.py:441}} ИНФОРМАЦИЯ - задание Kubernetes: (('оператор', 'задача', datetime.datetime (2019, 10, 6, 12, 59, 50, 146375, tzinfo =), 1), ['воздушный поток', 'запустить ',' оператор ',' задача ',' 2019-10-06T12: 59: 50.146375 + 00: 00 ',' --local ',' --pool ',' default_pool ',' -sd ',' / usr /local/airflow/dags/KubernetesPodOperator.py '], KubernetesExecutorConfig (image = None, image_pull_policy = None, request_memory = None, request_cpu = None, limit_memory = None, limit_cpu = None, limit_memory = None, limit_cpu = None, limitservicelecount = None, limit_gpucount = None, limit_selectors, affinity = None, annotations = {}, volume = [], volume_mounts = [], допусков = None, labels = {})) [2019-10-06 12: 59: 56,498] {{kubernetes_executor.py:353} } ИНФОРМАЦИЯ - Событие: koperatortask-2f35f3b347a149bcb2133ef58cf9e77d имело событие типа ДОБАВЛЕНО [2019-10-06 12:59:56,509] {{kubernetes_executor.py:385}} ИНФОРМАЦИЯ - Событие: koperatortask-2f35f3b347a149bcb2133ef58cf9e77d Ожидание [2019-10-06 12:59: 56,528] {{kubernetes_executor.py:353}} Событие INFO4efec588cfperatb8-событие: kubernetes_executor. типа ИЗМЕНЕНО [2019-10-06 12: 59: 56,529] {{kubernetes_executor.py:385}} ИНФОРМАЦИЯ - Событие: koperatortask-2f35f3b347a149bcb2133ef58cf9e77d Ожидается [2019-10-06 12:59: 56,543] {{kubernetes_execut: 353}} ИНФОРМАЦИЯ - Событие: koperatortask-2f35f3b347a149bcb2133ef58cf9e77d имело событие типа ИЗМЕНЕНО [2019-10-06 12: 59: 56,544] {{kubernetes_executor.py:385}} ИНФОРМАЦИЯ - Событие: koperatortaskc58cf13e3-103dbc58ebdbdb2f3e4e5b2f3ebdbdb2f3ecbdb2f3ebdbdbdb2f2b5bdb 06 12: 59: 59,492] {{kubernetes_executor.py:353}} ИНФОРМАЦИЯ - Событие: koperatortask-2f35f3b347a149bcb2133ef58cf9e77d имеет событие типа ИЗМЕНЕНО [2019-10-06 12:59:59,492] {{kubernetes_executor.py:393}} ИНФОРМАЦИЯ - Событие: koperatortask-2f35f3b347a149bcb2133ef58cf9e77d Выполняется [2019-10-06 13: 00: 10,873] {{kubernetes_executor.py:353}} INFO14ef-Event: koperatortask-2f353} событие типа ИЗМЕНЕНО [2019-10-06 13: 00: 10,874] {{kubernetes_executor.py:390}} ИНФОРМАЦИЯ - Событие: koperatortask-2f35f3b347a149bcb2133ef58cf9e77d Успешно [2019-10-06 13: 00: 12,236 ]_ {kubernetes.: 493}} INFO - Попытка закончить под; pod_id: koperatortask-2f35f3b347a149bcb2133ef58cf9e77d; состояние: Нет; метки: {'airflow-worker': 'b46fd37e-959c-4844-81e1-dff9df2e98e2', 'dag_id': 'koperator', 'execution_date': '2019-10-06T12_59_50.146375_plus_00_00', 'task_id': 'task', 'try_number': '1'} [2019-10-06 13:00:12,245] {{kubernetes_executor.py:616}} ИНФОРМАЦИЯ - Проверка 1 экземпляра задачи. [2019-10-06 13: 00: 12,247] {{kubernetes_executor.py:626}} ИНФОРМАЦИЯ - Найдена соответствующая задача koperator-task (2019-10-06 12:59:50.146375+00:00) с текущим состоянием up_for_retry [2019-10-06 13: 00: 12,253] {{kubernetes_executor.py:783}} ИНФОРМАЦИЯ - изменение состояния (('koperator', 'task', datetime.datetime (2019, 10, 6, 12, 59, 50, 146375, tzinfo = tzlocal ()), 1), None, 'koperatortask-2f35f3b347a149bcb2133ef58cf9e77d', '34894988') на None [2019-10-06 13:00:12,273] {{scheduler_job.py:1283}} - Исполнитель сообщает о выполнении koperator.task execution_date=2019-10-06 12:59:50.146375+00:00 завершен со статусом None для626}} ИНФОРМАЦИЯ - Найдена соответствующая задача koperator-task (2019-10-06 12:59:50.146375+00:00) с текущим состоянием up_for_retry [2019-10-06 13: 00: 12,253] {{kubernetes_executor.py: 783}} ИНФОРМАЦИЯ - изменение состояния (('оператор', 'задача', datetime.datetime (2019, 10, 6, 12, 59, 50, 146375, tzinfo = tzlocal ()), 1), None, 'koperatortask -2f35f3b347a149bcb2133ef58cf9e77d ',' 34894988 ') на None [2019-10-06 13:00:12,273] {{scheduler_job.py:1283}} INFO - Executor сообщает о выполнении koperator.task execution_date=2019-10-06 12:59: 50.146375 + 00: 00 завершен со статусом Нет для626}} ИНФОРМАЦИЯ - Найдена соответствующая задача koperator-task (2019-10-06 12:59:50.146375+00:00) с текущим состоянием up_for_retry [2019-10-06 13: 00: 12,253] {{kubernetes_executor.py: 783}} ИНФОРМАЦИЯ - изменение состояния (('оператор', 'задача', datetime.datetime (2019, 10, 6, 12, 59, 50, 146375, tzinfo = tzlocal ()), 1), None, 'koperatortask -2f35f3b347a149bcb2133ef58cf9e77d ',' 34894988 ') на None [2019-10-06 13:00:12,273] {{scheduler_job.py:1283}} INFO - Executor сообщает о выполнении koperator.task execution_date=2019-10-06 12:59: 50.146375 + 00: 00 завершен со статусом Нет для None, 'koperatortask-2f35f3b347a149bcb2133ef58cf9e77d', '34894988') на None [2019-10-06 13:00:12,273] {{scheduler_job.py:1283}} ИНФОРМАЦИЯ - исполнитель сообщает о выполнении koperator.task Execution-date=2019-10-10 06 12:59:50.146375+00:00 завершен со статусом Нет для None, 'koperatortask-2f35f3b347a149bcb2133ef58cf9e77d', '34894988') на None [2019-10-06 13:00:12,273] {{scheduler_job.py:1283}} ИНФОРМАЦИЯ - Исполнитель сообщает о выполнении koperator.task execution-date=2019-10-10 06 12:59:50.146375+00:00 завершен со статусом Нет для

бревно поднятого стручка:

[2019-10-06 12: 02: 11,961] {{init.py:51}} ИНФОРМАЦИЯ - Использование исполнителя LocalExecutor [2019-10-06 12:02:12,844] {{dagbag.py:90}} ИНФОРМАЦИЯ - Заполнение вверх по DagBag из /usr/local/airflow/dags/KubernetesPodOperator.py [2019-10-06 12:02:13,571] {{cli.py:516}} ИНФОРМАЦИЯ - Запуск на хосте koperatortask-bd0c81d6039c4b329ae8dd2292c0c566

Что я делаю не так?

как запустить dag на кубернетах с KubernetesPodOperator?

спасибо авиад

Answer 1

К сожалению, я не вижу достаточно информации, чтобы определить, что не так. добавить параметр.

"get_logs": Верно

в KubernetesPodOperator.

Таким образом, запуск объединит стандартные выходные данные из модулей KubernetesExecutor и KubernetesPodOperator в журнал задач Airflow.

Это должно дать вам более четкое представление о том, что происходит.