Исполнитель airflow kubernetes не может планировать поды

Я использую стабильную диаграмму управления Airflow и Kubernetes Executor, так как новый POD задания планируется, но его не удается инициализировать, я не могу видеть журналы, поскольку новый модуль не инициализируется, ниже приведены журналы из модуля и Конфигурация kubernetes в файле значений helm. Я попытался настроить удаленное ведение журнала для отправки журналов на s3, но на S3 ничего не отправляется. Я подписался на этот пост, чтобы настроить ведение журнала S3. Может ли кто-нибудь помочь мне решить эту проблему?

https://blog.flockcover.com/how-to-adopt-airflows-kubernetesexecutor-s3-logging-%EF%B8%8F-728550d8d8fb

Error from server (BadRequest): container "base" in pod "podname" is waiting to start: PodInitializing

Конфигурация Kubernetes с использованием в файле значений Helm

      AIRFLOW__KUBERNETES__DELETE_WORKER_PODS: false
      AIRFLOW__KUBERNETES__GIT_REPO: git@github.com:sample.git
      AIRFLOW__KUBERNETES__GIT_BRANCH: master
      AIRFLOW__KUBERNETES__GIT_DAGS_FOLDER_MOUNT_POINT: /dags
      AIRFLOW__CORE__LOGGING_LEVEL: DEBUG
      AIRFLOW__CORE__FAB_LOGGING_LEVEL: DEBUG
      AIRFLOW__CORE__REMOTE_LOGGING: True
      AIRFLOW__CORE__REMOTE_LOG_CONN_ID: s3_uri
      AIRFLOW__CORE__REMOTE_BASE_LOG_FOLDER: s3://bucketname/airflow
      AIRFLOW__CORE__LOGGING_CONFIG_CLASS: logging_config.LOGGING_CONFIG
      AIRFLOW__CORE__TASK_LOG_READER: s3.task
      AIRFLOW_CONN_S3_URI: s3://accesskey:secret@bucketname

0 ответов

Другие вопросы по тегам