Описание тега kubernetespodoperator
0
ответов
Airflow KubernetesPodOperator - использование значения ConfigMap в качестве переменной среды
У меня есть Kubernetes ConfigMap под названием testкоторый содержит ключ с некоторым значением. Я хотел бы использовать значение этого ключа в переменной окружения. import datetime import os from airflow import models from airflow.contrib.kubernetes…
23 мар '21 в 12:13
2
ответа
прохождение --serviceaccount в воздушном потоке kubernetes pod operator
Я пытаюсь создать и запустить модуль с помощью оператора модуля Airflow kubernetes. Команда ниже проверена и подтверждена как работающая, и я пытаюсь воспроизвести то же самое, используя оператор kubernetes pod локально. kubectl run sparkairflow -n …
06 апр '21 в 17:16
1
ответ
Как я могу установить конфигурацию DNS в операторе kuber pod воздушного потока?
Я планирую некоторые задачи по использованию воздушного потока; Я хочу развернуть свой модуль с настраиваемой конфигурацией DNS: spec: dnsPolicy: "None" dnsConfig: nameservers: - 10.10.10.10 Но проблема в том, что я не нашел способа установить конфи…
21 апр '21 в 09:54
0
ответов
GCP Airflow - подключение к Big Query
Я настроил подключение к Big Query с помощью пользовательского интерфейса Airflow. Воздушный поток -> Админ -> Соединение -> bigquery_default. Я использую kubernetespodoperator для выполнения кода Python. мой вопрос в том, как передать соед…
28 май '21 в 00:16
1
ответ
обходить ресурсы, предоставляемые обработчиком под мутации
У нас на кубернетах работает воздушный поток. Ниже мой airflowlocalsettings. Я хочу запустить несколько селективных модулей задач, через которые проходят собственные ресурсы. resources параметр в KubernetesPodOperator.Теперь проблема в том, что ресу…
03 июн '21 в 09:09
4
ответа
Как установить модули зависимостей для задачи Airflow DAG (или кода Python)? , «Не удалось импортировать модуль» в DAG воздушного потока при использовании kuberentesExecutor
У меня есть DAG воздушного потока «example_ml.py», в котором есть задача «train_ml_model», и эта задача вызывает / запускает скрипт python «training.py». -Dags / example_ml.py-Dags / training.py Когда я запускаю Dag, он не может импортировать модули…
31 мар '21 в 19:18
2
ответа
Как запустить образ докеры с --privileged в KubernetesPodOperator на воздушном потоке
Как мне docker run частный образ из реестра контейнеров в GCP с использованием --privileged Запуск этого локально работает нормально: docker run -it --privileged --entrypoint /bin/bash ${GKE_APP} Я следил за этим, но ошибка все еще сохранялась. Это …
05 июл '21 в 07:07
1
ответ
Шаблон визуализации воздушного потока изменяется при запуске задачи?
У меня очень странная ошибка с воздушным потоком. Проблема У меня есть кинжал с bash operator как шаг 1 и как шаг 2. Проблема касается KubernetesPodOperator. По сути, я довольно долго давал изображение задаче, недавно я изменил изображение, на котор…
17 авг '21 в 22:00
0
ответов
Тестирование дагов воздушного потока с KubernetesPodOperator
У нас есть своего рода кластер самообслуживания Airflow, который требует, чтобы все задачи были упакованы как задачи KubernetesPodOperator. Каковы возможные варианты тестирования дагов в настройке CI/CD при такой настройке?
25 авг '21 в 20:49
1
ответ
Airflow - KubernetesPodOperator - привязка роли к сервисному аккаунту
В настоящее время я использую KubernetesPodOperator для запуска пода в кластере Kubernetes. Я получаю следующую ошибку: kubernetes.client.rest.ApiException: (403) Причина: Запрещено Заголовки ответа HTTP: HTTPHeaderDict({'Audit-Id': '','Cache-Contro…
30 авг '21 в 04:45
0
ответов
dag_id не найден с помощью Airflow KubernetesPodOperator (Minikube) и DAG m
Я пытаюсь запустить DAG на основе KubernetesPodOperator с Minikube. Группы DAG монтируются с моего локального компьютера. Проблема в том, что группы DAG не обнаруживаются модулем: [2021-09-18 13:00:11,334] {dagbag.py:496} INFO - Filling up the DagBa…
18 сен '21 в 16:29
1
ответ
airflow2.0 с KubernetesPodOperator: TemplateNotFound
Я использую Airflow2.0 с KubernetesPodOperatorхотите запустить команду, которая использует в качестве параметра файл из образа, запущенного Оператором. Вот что я использовал: KubernetesPodOperator( namespace=commons.kubernetes_namespace, labels=comm…
03 окт '21 в 20:41
0
ответов
Airflow не «видит», что основной модуль Kubernetes завершен
Мы используем размещенный Airflow 1.10.2 в Google Composer 1.7.5 для запуска заданий через KubernetesPodOperator (задачи, которые будут выполняться в модуле Kubernetes внутри рабочего кластера) Было несколько случаев, когда сам модуль Kubernetes усп…
14 янв '22 в 17:40
1
ответ
Airflow — невозможно использовать шаблон jinja для ресурсов в задаче Kubernetes Pod Operator
Airflow — невозможно использовать шаблон jinja для ресурсов в задаче Kubernetes Pod Operator. Возможность использовать шаблон jinja для переменных среды, изображения, но не может использовать ресурсы для указания ЦП и памяти (запрос и ограничение).
29 ноя '21 в 05:39
1
ответ
Как настроить Elyra для использования другого шаблона Jinja при использовании пользовательских компонентов?
Я пытаюсь заставить Elyra использовать собственный шаблон Jinja для моего пользовательского компонента. Я попытался изменить файл конфигурации Elyra для этих двух элементов: c.ElyraApp.template_paths = ['/home/templates'] c.ExtensionApp.template_pat…
16 фев '22 в 15:06
1
ответ
Монтируйте тома с секретами с помощью Python Kubernetes API
Я пишу DAG Airflow, используя KubernetesPodOperator. Процесс Python, запущенный в контейнере, должен открыть файл с конфиденциальными данными: with open('credentials/jira_credentials.json', 'r') as f: creds = json.load(f) и клиент CloudStorage долже…
15 сен '21 в 13:07
1
ответ
KubernetesPodOperator не может получить доступ к соединениям Airflow, хранящимся в Google Secrets Manager.
я использую Composer version 2.0.0 Airflow 2.1.4и я создал файл, который пытается получить доступ к соединению Airflow, хранящемуся в Google Secrets Manager. Но он не может найти учетные данные (см. исключения ниже). Я также пытался передать секреты…
01 апр '22 в 08:22
0
ответов
Доступ к minikube через KubernetesPodOperator в воздушном потоке
Я пытаюсь сделать поток воздуха KubernetesPodOperatorработа с миникубе. Но к сожалению оператор не находит кластер kubernetes. Даг вернул мне следующую ошибку: ERROR - HTTPSConnectionPool(host='192.168.49.2', port=8443): Max retries exceeded with ur…
27 апр '22 в 07:50
1
ответ
Команда bash, в то время как цикл запускается только один раз в kubernetespodoperator Airflow
Я пытаюсь запустить одно задание pod Kubernetes 6 раз. Каждый раз он будет печатать число и спать в течение 5 секунд. Однако он запускается только один раз, а затем останавливается. Вот полный код файла dag: from datetime import datetime, timedelta …
28 мар '22 в 23:19
0
ответов
В Kubernetes при создании модуля Controller с конфигурацией In Cluster kubeapi я хотел бы общаться с kubernetes так же, как вы делаете строку cmd
Я работаю над созданием модуля контроллера Kubernetes (или контейнера), который обращается к Kubernetes для изменения состояния кластера Kubernetes из модуля. Проблема заключается в сложности работы с официальными клиентскими библиотеками Kubernetes…
24 мар '22 в 04:47