Описание тега kubernetesexecutor
0
ответов
Невозможно запустить Airflow DAG с KubernetesExecutor - AirflowException: dag_id не найден
Я новичок в Airflow и уже некоторое время безуспешно пытаюсь запустить задачу с использованием класса KubernetesPodOperator. Модуль создается и синхронизирует DAG из репозитория git, я не вижу никаких ошибок при получении DAG, но модуль быстро выход…
17 июл '20 в 03:02
0
ответов
Как отлаживать Airflow на Kubernetes Executor?
Я новичок в Airflow. Я только что развернул Airflow на k8s (работает на AWS с использованием KOPS) с помощью helm. Я вижу, что запущены веб-сервер, Postgres, tiller и модуль планировщика. Я также могу получить доступ к веб-серверу локально, использу…
09 май '20 в 01:03
1
ответ
Airflow не распознает мои настройки подключения S3
Я использую Airflow с исполнителем Kubernetes и тестирую его локально (используя minikube). Хотя мне удалось его запустить и запустить, я не могу хранить свои журналы в S3. Я пробовал все описанные решения, но все еще получаю следующую ошибку: *** L…
30 мар '20 в 19:25
0
ответов
sql_alchemy_pool_size для исполнителя Kubernetes на воздушном потоке
airflow version = 1.10.3 executor = KubernetesExecutor airflow metadataDB = postgresDB Имеет ли какое-либо значение какие-либо параметры пула воздушного потока (sql_alchemy_pool_size, sql_alchemy_max_overflow, sql_alchemy_pool_recycle) с моей вышеуп…
21 май '20 в 22:54
0
ответов
Исполнитель airflow kubernetes не может планировать поды
Я использую стабильную диаграмму управления Airflow и Kubernetes Executor, так как новый POD задания планируется, но его не удается инициализировать, я не могу видеть журналы, поскольку новый модуль не инициализируется, ниже приведены журналы из мод…
01 июл '20 в 08:10
1
ответ
Монтирование ConfigMap в Airflow Worker Pod с помощью KubernetesExecutor
У меня есть сценарий, в котором я хочу использовать Helm для развертывания конфигураций Airflow для каждой среды, которые используют KubernetesExecutor. Проблема, с которой я сталкиваюсь, заключается в том, что мне нужно установить планировщик для к…
03 апр '20 в 22:16
3
ответа
Функция pod_mutation_hook не работает с воздушным потоком, работающим в кубернетах с использованием KubernetesExecutor
Я пытаюсь перенести развертывание воздушного потока в кубернетах из CeleryExecutor к KubernetesExecutor. В моей локальной среде разработки (работающей на minikube) все прошло гладко, однако мне нужно загрузить контейнер sidecar в производстве, чтобы…
06 апр '20 в 21:58
4
ответа
Airflow- dag_id не удалось найти проблему при использовании исполнителя kubernetes
Я использую диаграмму стабильного воздушного потока и Kubernetes Executor, новый модуль планируется для dag, но его сбой с dag_id не может быть обнаружен. Я использую git-sync для получения дагов. Ниже приведены значения ошибки и конфигурации куберн…
02 июл '20 в 02:29
0
ответов
KubernetesExecutor не запускается с ошибкой OOMKilled
Экспериментирую с Airflow KubernetesExecutor. Airflow создает новый модуль для каждой задачи при запуске с KubernetesExecutor. Pod успешно запланирован на K8S. но как только Pod запускается, он убивается с ошибкой OOMKilled. Я описываю стручок до то…
20 мар '20 в 21:15
4
ответа
Проблемы с разрешением Airflow Unittest.cfg?
Итак, настраиваю Airflow на EKS. Кажется, все на месте, за исключением того, что я не могу использовать KubernetesExecutor. Каждый раз, когда я пытаюсь его использовать, я получаю такую ошибку: with open(TEST_CONFIG_FILE, 'w') as f: PermissionErro…
30 сен '20 в 02:39
1
ответ
Есть ли в Airflow Kubernetes Executor какой-либо оператор?
Я оцениваю миграцию моего текущего развертывания Airflow с исполнителя Celery на исполнитель Kubernetes (K8s), чтобы использовать динамическое распределение ресурсов и изоляцию задач, предоставляемых модулями. Мне ясно, что мы можем использовать соб…
18 ноя '20 в 18:18
0
ответов
Исполнитель сообщает, что экземпляр задачи <TaskInstance: X [queued]> завершен (не выполнен), хотя задача сообщает, что находится в очереди. Была ли задача убита внешне?
У меня проблема с KubernetesExecutor + KubernetesPodOperator. На веб-сервере нет ошибки, единственная ошибка, которую я вижу, - это журнал планировщика, где написано: [2020-09-11 05: 36: 13,724] {scheduler_job.py:1351} ОШИБКА - исполнитель сообщает …
11 сен '20 в 10:35
1
ответ
обходить ресурсы, предоставляемые обработчиком под мутации
У нас на кубернетах работает воздушный поток. Ниже мой airflowlocalsettings. Я хочу запустить несколько селективных модулей задач, через которые проходят собственные ресурсы. resources параметр в KubernetesPodOperator.Теперь проблема в том, что ресу…
03 июн '21 в 09:09
0
ответов
Ошибка Airflow Kubernetes Executor (не удалось найти dag_id)
Пытаюсь сделать первые шаги с помощью Airflow (решил начать с последней выпущенной версии, 2.1.0). Ниже вы можете найти шаги, которые я выполнил. Я хочу указать, что я запускаю тест локально с помощью Minikube. Я начал создавать свой собственный обр…
02 июн '21 в 18:54
2
ответа
Airflow 2.0.1: переопределение шаблона пода не работает должным образом для KubernetesExecutor
Настройка: Airflow 2.0.1 с Kubernetes 1.18 и Python 3.8, клиент Kubernetes: 18.17.x Файл шаблона пакета: apiVersion: v1 kind: Pod metadata: name: workerPod spec: containers: - args: [] command: [] env: - name: <Key> value: "<value>" envF…
11 июн '21 в 01:37
1
ответ
Airflow KubernetesExecutor / Не удалось принять под
Мы используем исполнитель kubernetes airflow, и по большей части он отлично работает. Хотя обычно модули завершаются и исчезают после выполнения задачи, иногда «что-то» происходит, и эти завершенные модули в конечном итоге остаются навсегда. Или пок…
30 июл '21 в 05:00
0
ответов
Airflow не будет записывать журналы после постановки в очередь
Я развернул Airflow в Kubernetes с помощью KubernetesExecutor. Кажется, все работает нормально, пока я не попытаюсь достать журналы. Пользовательский интерфейс показывает мне журналы, но на самом деле полные журналы не записываются. Для каждой выпол…
17 авг '21 в 01:06
2
ответа
Airflow KubernetesExecutor, журналы не отображаются в пользовательском интерфейсе до завершения выполнения модулей исполнителя
Я начал использовать KubernetesExecutor и настроил PV / PVC с AWS EFS для хранения журналов для моих дагов. Я также использую удаленное ведение журнала s3. Все журналы работают отлично после завершения дага. Однако я хочу иметь возможность видеть жу…
28 янв '21 в 03:59
0
ответов
как установить изображение по умолчанию при использовании KubernetesExecutor в воздушном потоке
я использую KubernetesExecutor. config AIRFLOW__KUBERNETES__IN_CLUSTER: 'false' AIRFLOW__KUBERNETES__CONFIG_FILE: ~/.kube/config AIRFLOW__KUBERNETES__NAMESPACE: airflow AIRFLOW__KUBERNETES__POD_TEMPLATE_FILE: /home/airflow/pod_template.yaml pod_tem…
05 окт '21 в 10:39
0
ответов
Образы для веб-сервера и рабочего
В воздушном потоке мы используем Kubernetes Executor, можем ли мы использовать отдельные изображения для веб-сервера и рабочих модулей? Если я использую отдельное изображение, которое содержит все библиотеки DAG, но эти зависимости отсутствуют в изо…
09 ноя '21 в 16:49