Описание тега airflow-2.x
4
ответа
Docker compose файл для airflow 2 (версия 2.0.0)
Я хочу написать файл docker compose для локального выполнения воздушного потока в аналогичной производственной среде. Для более старых версий airflow v1.10.14 docker compose работает нормально. Но тот же состав докеров не работает для последней стаб…
25 янв '21 в 20:57
0
ответов
Сохраните динамически созданный DAG в Airflow вместо того, чтобы регистрировать его в планировщике
Я хотел бы сохранить свои динамические DAG-файлы и не планировать их автоматически планировщиком Airflow, поэтому я не использую утилиту globals(). Есть способ? Я видел pickling_dag, но у меня это не работает. Я хочу просто увидеть динамически созда…
19 фев '21 в 21:06
1
ответ
Ошибка веб-сервера Airflow при обновлении до Airflow 2.0
После обновления с Airflow 1.10.12 до Airflow 2.0.0 я получаю следующую ошибку при попытке запустить airflow webserver: Traceback (most recent call last): File "/usr/local/lib/python3.9/site-packages/flask/app.py", line 2447, in wsgi_app response = …
11 фев '21 в 02:01
4
ответа
Как настроить аутентификацию LDAP в Airflow 2.0
В настоящее время я пытаюсь настроить интеграцию LDAP с существующим сервером LDAP в Airflow. Раньше я пытался создать cacert (ldap_ca.crt) и следовал этому руководству и этому руководству . Когда я запускаю Airflow, мне предоставляется экран входа …
29 янв '21 в 01:27
0
ответов
Как я могу сгенерировать динамические группы DAG Spark с помощью Airflow 2.0 из файла conf?
Я запускаю приложение Spark с помощью LivyOperator в Airflow. Но сейчас все мои аргументы жестко закодированы. Как лучше всего написать файл python для динамической генерации аналогичного DAG, используя вместо этого файл conf. Я просмотрел https://w…
17 фев '21 в 23:48
1
ответ
Проблема с определением DAG с помощью Airflow 2 Taskflow API
Я создал DAG с API потока задач airflow 2: with airflow.DAG("plot", schedule_interval=None, default_args=default_args) as dag: cf = collect_files() upi = update_process_info(cf) for i in range(0, max_parallel_plot_tasks): plot_files(cf, i, int(max_p…
26 фев '21 в 10:32
1
ответ
Где в Airflow 2.0.1 есть опция специального запроса?
Я не вижу специального запроса в раскрывающемся списке в Airflow 2.0.1. У кого-нибудь есть информация по этому поводу? Было ли удалено из 2.0+? Любая помощь будет принята с благодарностью, я много использовал это.
13 мар '21 в 00:12
0
ответов
Airflow2 с AWS RDS Postgres в качестве ошибки хранилища метаданных
Здравствуйте, разработчики, я изо всех сил пытался понять, как я могу использовать AWS RDS в качестве мета-магазина воздушного потока я создаю проблему после просмотра нескольких сообщений и блогов Рекомендации : https://github.com/puckel/docker-air…
21 мар '21 в 17:29
1
ответ
Как отключить аутентификацию по умолчанию в Airflow 2.0.1
Мы обновляем нашу службу воздушного потока до версии 2.0.1, развернутой на AWS, однако после обновления у нее есть страница аутентификации по умолчанию. воздушный поток2 Мы уже установили для аутентификации и rbac значение false в файле конфигурации…
25 мар '21 в 01:41
2
ответа
Создавайте динамические рабочие процессы в Airflow со значением XCOM
Теперь я создаю несколько задач, используя такую переменную, и она отлично работает. with DAG(....) as dag: body = Variable.get("config_table", deserialize_json=True) for i in range(len(body.keys())): simple_task = Operator( task_id = 'task_' + st…
26 мар '21 в 19:40
0
ответов
Конфигурация нескольких BranchPythonOperator DAG
import logging import pandas as pd import boto3 from datetime import datetime from airflow import DAG, settings from airflow.operators.python import PythonOperator, BranchPythonOperator from airflow.operators.dummy_operator import DummyOperator fro…
27 мар '21 в 09:16
1
ответ
MysqlOperator в airflow 2.0.1 не удалось с «ошибкой соединения ssl»
Я новичок в воздушном потоке, и я пытаюсь проверить соединение Mysql с помощью MysqlOperator в воздушном потоке 2.0.1. Однако я получаю сообщение об ошибке ssl-соединения . Я попытался добавить дополнительные параметры для отключения режима ssl, но …
14 апр '21 в 15:57
2
ответа
Airflow 2 - отладка почему не загружается даг
В Airflow 2 мой тег не отображается в пользовательском интерфейсе, и я получаю для него ошибки импорта DAG (...) . Мне недостаточно сообщения об ошибке для отладки (это настраиваемый оператор с большим количеством настраиваемой логики, поэтому я не …
16 апр '21 в 13:03
1
ответ
Airflow 2.0.1: запись журналов в местном часовом поясе
По умолчанию airflow 2.0.1 пишет логи в UTCчасовой пояс. Но я хочу, чтобы журналы записывались в часовом поясе Local / Machine [не в формате UTC]. Я пробовал изменить ниже. Но не повезло AIRFLOW__WEBSERVER__DEFAULT_UI_TIMEZONE: Asia/Kolkata AIRFLOW_…
22 апр '21 в 10:28
0
ответов
Как использовать специально созданный REST API для аутентификации входа на веб-сервер воздушного потока?
Я использую Airflow 2.0.1 Я создал один REST API, как показано ниже, который принимает имя пользователя и пароль и возвращает, если пользователь аутентифицирован или нет. API: http: //: / api / Authenticate Тело запроса: {"username": "user","passwor…
18 май '21 в 18:16
1
ответ
Как использовать xcom pull с оператором postgres, airflow 2.0.2?
Я пытаюсь передать параметры в операторе postgres, а не в жестком коде. Это исходит из моей предыдущей задачи, как вы видите ниже: я буду очень признателен, если вы расскажете мне, что здесь не так и как это исправить? get_query_id_task = PythonOper…
21 май '21 в 09:06
0
ответов
Как передать результат первого запроса второму с помощью PostgresOperator в airflow 2.x?
Я должен передать результат моего первого запроса на красное смещение второму. Я использую оператор postgres, скрипт Postgre. не имеет функции возврата, как вы видите в этой ссылке На самом деле я подумал изменить скрипт и добавить возврат к методу …
20 май '21 в 09:26
1
ответ
Проблемы с Airflow 2.0: слишком много задач диспетчера воздушного потока
Я установил airflow 2.0 с помощью docker swarm и Celery Executor. Через неделю память рабочих сельдерея переполняется. airflow task supervisor(скриншот прилагается) Кто-нибудь сталкивался с такими проблемами? Какие-либо предложения ?
20 май '21 в 15:16
2
ответа
Задержка между задачами в Airflow или другом варианте?
Мы используем воздушный поток 2.00. Я пытаюсь реализовать DAG, который выполняет две функции: Запуск отчетов через API Скачивайте отчеты из источника в пункт назначения. Между задачами 1 и 2 должен быть промежуток не менее 2–3 часов. Из моего исслед…
21 май '21 в 19:04
1
ответ
Связь Airflow XCOM от BashOperator к SSHOperator
Я только начал изучать Airflow, но понять концепцию Xcom довольно сложно. Поэтому я написал такой даг: from airflow import DAG from airflow.utils.edgemodifier import Label from datetime import datetime from datetime import timedelta from airflow.ope…
11 июн '21 в 07:11