Описание тега airflow-worker

Вопросы с тегом
Apache Airflow - это платформа управления рабочими процессами для программного создания, планирования и мониторинга рабочих процессов в виде ориентированных ациклических графов (DAG) задач.
0 ответов

Невозможно запустить Airflow DAG с KubernetesExecutor - AirflowException: dag_id не найден

Я новичок в Airflow и уже некоторое время безуспешно пытаюсь запустить задачу с использованием класса KubernetesPodOperator. Модуль создается и синхронизирует DAG из репозитория git, я не вижу никаких ошибок при получении DAG, но модуль быстро выход…
17 июл '20 в 03:02
0 ответов

Журнал прерывистого воздушного потока пропал

Ожидаемое поведение Журнал воздушного потока будет на месте, пока кто-нибудь его не удалит. Фактическое поведение Журнал задач Intermittent Airflow пропал. Информация Версия: 1.10.4 Исполнитель: Сельдерей Палач Один экземпляр EC2 с веб-сервером Dock…
12 июн '20 в 07:44
0 ответов

После очистки журналов Dag находится в рабочем состоянии, но задача не запланирована / не выполняется

У меня есть воздушный поток (v1.10.4), работающий в кластере Kubernetes с использованием Celery Executor. Мы используем RDS Postgres в качестве базы данных внешних метаданных. Постановка проблемы: все даги планируются и запускаются вовремя, но пробл…
07 июл '20 в 11:16
1 ответ

Apache Airflow 1.10.10, удаленный рабочий и журналы S3

Я недавно обновил воздушный поток с 1.10.0 до 1.10.10. Текущая настройка - web, worker, scheduler и flower находятся на одном компьютере. Когда DAG запускается, первым шагом является запуск нового EMR для DAG и вместе с ним рабочего узла, на котором…
08 июл '20 в 07:41
1 ответ

Что произойдет с датчиком воздушного потока, работающим на работнике Celery, если сам рабочий выйдет из строя

Пример использования: в DAG определена задача Rest API (с использованием RestOperator), которая обращается к API приложения и запускает выполнение процесса / задачи, которая выполняет некоторую бизнес-функцию. Статус выполнения отслеживается с помощ…
08 июл '20 в 19:46
1 ответ

Запустите код Python на SSH Target с помощью Airflow

Есть 2 системы: A а также B. Планировщик воздушного потока, веб-сервер, Redis и цветок работают наA пока рабочий Airflow работает B. Обе системы работают под управлением Ubuntu 18.04 и используют Airflow 1.10.10 в контейнерах докеров. Можно ли созда…
23 июл '20 в 15:43
1 ответ

Выполнить SSH-соединение внутри python_callable Airflow?

В Airflow 1.10.10 DAG у нас есть ShortCircuitOperator который использует функцию Python check_remote_server() решить ветку. В check_remote_server_data() функция, как мы можем запустить SSH-соединение с удаленным сервером, запустить на нем команду ba…
31 июл '20 в 17:07
1 ответ

DAG Airflow Backfill застревает, первая задача находится в очереди (серый)

Я пробовал просматривать похожие ответы на stackru на эту проблему, однако мой случай немного отличается. Я выполняю задания обратной засыпки через интерфейс командной строки Airflow, и запускаемые даги засыпки застревают в рабочем состоянии, а перв…
21 авг '20 в 16:28
0 ответов

обновить до Airflow 1.10.10

Я хочу знать, есть ли какие-либо серьезные открытые проблемы, связанные с основными функциями Airflow, такими как веб-сервер, планировщик и рабочий в Airflow 1.10.10, прежде чем мы выполним фактическое обновление. В идеале мы ожидаем, что проблема с…
05 июн '20 в 12:48
2 ответа

Предотвратить немедленный запуск отключенной группы DAG при включении

В Airflow 1.10.10, когда отключенный DAG включается нажатием кнопки, чтобы изменить его состояние с Off к On, группа доступности базы данных всегда будет запускаться один раз до следующего запланированного времени выполнения. Можно ли включить групп…
17 июн '20 в 01:08
2 ответа

Планировщик воздушного потока не планирует (или медленно), когда много задач

Я работаю с воздушным потоком в Google Cloud Composer (версия: composer-1.10.2-airflow-1.10.6). Я понял, что планировщик не планирует задачу, когда нужно обработать много задач (см. Представление Ганта ниже) (не обращайте внимания на цвета, красные …
04 июн '20 в 17:21
2 ответа

DNS для модулей Kubernetes и журналов рабочих потоков

➜ k get pods -n edna NAME READY STATUS RESTARTS AGE airflow-79d5f59644-dd4k7 1/1 Running 0 16h airflow-worker-67bcf7844b-rq7r8 1/1 Running 0 22h backend-65bcb6546-wvvqj 1/1 Running 0 2d16h поэтому воздушный поток, работающий в модуле airflow-79d5f59…
15 июл '20 в 02:00
1 ответ

Как безопасно перезапустить Airflow и убить давно выполняющуюся задачу?

У меня Airflow работает в Kubernetes с помощью CeleryExecutor. Airflow отправляет и отслеживает задания Spark с помощью DatabricksOperator. Мои потоковые задания Spark имеют очень долгое время выполнения (они выполняются бесконечно, если они не заве…
28 июл '20 в 23:03
0 ответов

Первый запуск Dags в Airflow завершается неудачно без каких-либо сообщений об ошибке

Я пытаюсь использовать Airflow для планирования заданий, метка при инициализации оказывается неудачной задачей. Я попытался очистить даг, но все еще тот же статус, что новая работа не выполняется. Не уверен, почему это не удается, единственный спосо…
05 авг '20 в 13:28
0 ответов

Пропустить предстоящий запуск DAG Airflow с помощью веб-интерфейса

DAG Airflow, который планируется запускать ежедневно в 10:00 с использованием Airflow 1.10, настроенного для использования CeleryExecutor. Если сейчас 9 утра, и мы хотим пропустить запланированный на сегодня запуск на 10 утра, но возобновить его, ка…
23 июн '20 в 21:38
0 ответов

Выполнение задачи отправки искры воздушного потока через цикл for --- Значения не повторяются

Я пытаюсь перебрать список и передать значения списка в качестве параметра моему заданию искровой отправки в Airflow. Передается первое значение, но задание заканчивается только первым значением цикла. Весь список не повторяется. list_of_val=['first…
18 июл '20 в 09:45
2 ответа

Исключение файла журнала воздушного потока

Я использую воздушный поток apache для запуска своих дагов. Я получаю исключение: *** Log file does not exist: /opt/airflow/logs/download2/download2/2020-07-26T15:00:00+00:00/1.log *** Fetching from: http://fb3393f5f01e:8793/log/download2/download2/…
26 июл '20 в 20:04
0 ответов

Установите зависимости Python для воздушного потока apache

Я использую воздушный поток apache для запуска своих дагов. Я хочу установить зависимости python: requests==2.22.0 Мой файл docker для веб-сервера, планировщика и postgres: version: "2.1" services: postgres_airflow: image: postgres:12 envi…
26 июл '20 в 21:45
0 ответов

Задачи воздушного потока в очереди и не выполняемые (CeleryExecutor)

У меня есть 2 сервера в кластере: первый сервер на Ubuntu 18.04 с веб-сервером, планировщиком, рабочим; второй на Centos6 с рабочим с собственными очередями. Два одинаковых дага с разной конфигурацией конвейера (другой источник данных, IP-адреса). Н…
14 авг '20 в 17:25
0 ответов

Настроить Airflow Worker

Стек Airflow был настроен для использования CeleryExecutor на первом сервере, на котором есть redis, PostgreSQL, веб-сервер, планировщик, цветок и рабочий, запущенный Docker Compose. Эта настройка в настоящее время работает нормально, и работник мож…
04 июн '20 в 00:38