Описание тега kubernetesexecutor

0 ответов

Невозможно запустить Airflow DAG с KubernetesExecutor - AirflowException: dag_id не найден

Я новичок в Airflow и уже некоторое время безуспешно пытаюсь запустить задачу с использованием класса KubernetesPodOperator. Модуль создается и синхронизирует DAG из репозитория git, я не вижу никаких ошибок при получении DAG, но модуль быстро выход…
0 ответов

Как отлаживать Airflow на Kubernetes Executor?

Я новичок в Airflow. Я только что развернул Airflow на k8s (работает на AWS с использованием KOPS) с помощью helm. Я вижу, что запущены веб-сервер, Postgres, tiller и модуль планировщика. Я также могу получить доступ к веб-серверу локально, использу…
1 ответ

Airflow не распознает мои настройки подключения S3

Я использую Airflow с исполнителем Kubernetes и тестирую его локально (используя minikube). Хотя мне удалось его запустить и запустить, я не могу хранить свои журналы в S3. Я пробовал все описанные решения, но все еще получаю следующую ошибку: *** L…
0 ответов

sql_alchemy_pool_size для исполнителя Kubernetes на воздушном потоке

airflow version = 1.10.3 executor = KubernetesExecutor airflow metadataDB = postgresDB Имеет ли какое-либо значение какие-либо параметры пула воздушного потока (sql_alchemy_pool_size, sql_alchemy_max_overflow, sql_alchemy_pool_recycle) с моей вышеуп…
0 ответов

Исполнитель airflow kubernetes не может планировать поды

Я использую стабильную диаграмму управления Airflow и Kubernetes Executor, так как новый POD задания планируется, но его не удается инициализировать, я не могу видеть журналы, поскольку новый модуль не инициализируется, ниже приведены журналы из мод…
01 июл '20 в 08:10
1 ответ

Монтирование ConfigMap в Airflow Worker Pod с помощью KubernetesExecutor

У меня есть сценарий, в котором я хочу использовать Helm для развертывания конфигураций Airflow для каждой среды, которые используют KubernetesExecutor. Проблема, с которой я сталкиваюсь, заключается в том, что мне нужно установить планировщик для к…
3 ответа

Функция pod_mutation_hook не работает с воздушным потоком, работающим в кубернетах с использованием KubernetesExecutor

Я пытаюсь перенести развертывание воздушного потока в кубернетах из CeleryExecutor к KubernetesExecutor. В моей локальной среде разработки (работающей на minikube) все прошло гладко, однако мне нужно загрузить контейнер sidecar в производстве, чтобы…
4 ответа

Airflow- dag_id не удалось найти проблему при использовании исполнителя kubernetes

Я использую диаграмму стабильного воздушного потока и Kubernetes Executor, новый модуль планируется для dag, но его сбой с dag_id не может быть обнаружен. Я использую git-sync для получения дагов. Ниже приведены значения ошибки и конфигурации куберн…
02 июл '20 в 02:29
0 ответов

KubernetesExecutor не запускается с ошибкой OOMKilled

Экспериментирую с Airflow KubernetesExecutor. Airflow создает новый модуль для каждой задачи при запуске с KubernetesExecutor. Pod успешно запланирован на K8S. но как только Pod запускается, он убивается с ошибкой OOMKilled. Я описываю стручок до то…
20 мар '20 в 21:15
4 ответа

Проблемы с разрешением Airflow Unittest.cfg?

Итак, настраиваю Airflow на EKS. Кажется, все на месте, за исключением того, что я не могу использовать KubernetesExecutor. Каждый раз, когда я пытаюсь его использовать, я получаю такую ​​ошибку: with open(TEST_CONFIG_FILE, 'w') as f: PermissionErro…
1 ответ

Есть ли в Airflow Kubernetes Executor какой-либо оператор?

Я оцениваю миграцию моего текущего развертывания Airflow с исполнителя Celery на исполнитель Kubernetes (K8s), чтобы использовать динамическое распределение ресурсов и изоляцию задач, предоставляемых модулями. Мне ясно, что мы можем использовать соб…
0 ответов

Исполнитель сообщает, что экземпляр задачи <TaskInstance: X [queued]> завершен (не выполнен), хотя задача сообщает, что находится в очереди. Была ли задача убита внешне?

У меня проблема с KubernetesExecutor + KubernetesPodOperator. На веб-сервере нет ошибки, единственная ошибка, которую я вижу, - это журнал планировщика, где написано: [2020-09-11 05: 36: 13,724] {scheduler_job.py:1351} ОШИБКА - исполнитель сообщает …
11 сен '20 в 10:35
1 ответ

обходить ресурсы, предоставляемые обработчиком под мутации

У нас на кубернетах работает воздушный поток. Ниже мой airflowlocalsettings. Я хочу запустить несколько селективных модулей задач, через которые проходят собственные ресурсы. resources параметр в KubernetesPodOperator.Теперь проблема в том, что ресу…
0 ответов

Ошибка Airflow Kubernetes Executor (не удалось найти dag_id)

Пытаюсь сделать первые шаги с помощью Airflow (решил начать с последней выпущенной версии, 2.1.0). Ниже вы можете найти шаги, которые я выполнил. Я хочу указать, что я запускаю тест локально с помощью Minikube. Я начал создавать свой собственный обр…
02 июн '21 в 18:54
2 ответа

Airflow 2.0.1: переопределение шаблона пода не работает должным образом для KubernetesExecutor

Настройка: Airflow 2.0.1 с Kubernetes 1.18 и Python 3.8, клиент Kubernetes: 18.17.x Файл шаблона пакета: apiVersion: v1 kind: Pod metadata: name: workerPod spec: containers: - args: [] command: [] env: - name: <Key> value: "<value>" envF…
1 ответ

Airflow KubernetesExecutor / Не удалось принять под

Мы используем исполнитель kubernetes airflow, и по большей части он отлично работает. Хотя обычно модули завершаются и исчезают после выполнения задачи, иногда «что-то» происходит, и эти завершенные модули в конечном итоге остаются навсегда. Или пок…
30 июл '21 в 05:00
0 ответов

Airflow не будет записывать журналы после постановки в очередь

Я развернул Airflow в Kubernetes с помощью KubernetesExecutor. Кажется, все работает нормально, пока я не попытаюсь достать журналы. Пользовательский интерфейс показывает мне журналы, но на самом деле полные журналы не записываются. Для каждой выпол…
2 ответа

Airflow KubernetesExecutor, журналы не отображаются в пользовательском интерфейсе до завершения выполнения модулей исполнителя

Я начал использовать KubernetesExecutor и настроил PV / PVC с AWS EFS для хранения журналов для моих дагов. Я также использую удаленное ведение журнала s3. Все журналы работают отлично после завершения дага. Однако я хочу иметь возможность видеть жу…
28 янв '21 в 03:59
0 ответов

как установить изображение по умолчанию при использовании KubernetesExecutor в воздушном потоке

я использую KubernetesExecutor. config AIRFLOW__KUBERNETES__IN_CLUSTER: 'false' AIRFLOW__KUBERNETES__CONFIG_FILE: ~/.kube/config AIRFLOW__KUBERNETES__NAMESPACE: airflow AIRFLOW__KUBERNETES__POD_TEMPLATE_FILE: /home/airflow/pod_template.yaml pod_tem…
05 окт '21 в 10:39
0 ответов

Образы для веб-сервера и рабочего

В воздушном потоке мы используем Kubernetes Executor, можем ли мы использовать отдельные изображения для веб-сервера и рабочих модулей? Если я использую отдельное изображение, которое содержит все библиотеки DAG, но эти зависимости отсутствуют в изо…
09 ноя '21 в 16:49