Описание тега apache-airflow

Вопросы с тегом
Airflow - это платформа для программного создания, планирования и мониторинга рабочих процессов.
2 ответа

Как удалить поврежденный DAG из списка воздушных потоков?

В потоке воздуха показать информацию о Broken DAG Broken DAG: [/data/airflow/dags/copy_from_Oracle_to_MySQL.py] No module named Oracle_to_MySQL_plugin Я попытался переместить файл с помощью DAG copy_from_Oracle_to_MySQL.py из /data/airflow/dags. Но …
30 ноя '17 в 09:50
1 ответ

Как мне вызвать ошибку с Bash?

Я пытаюсь вызвать ошибку в Bash, в блоке, который заключен в скрипт Python Airflow. export PATH=/home/ubuntu/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/snap/bin export rundate=`TZ='America/Los_Angeles' date +%F -d "yesterday"`…
15 июн '17 в 22:39
1 ответ

Работник воздушного потока не прослушивает очередь rabbitmq по умолчанию

Я настроил Airflow с Rabbitmq брокером, услуги: airflow worker airflow scheduler airflow webserver работают без каких-либо ошибок. Планировщик выдвигает задачи для выполнения на default Rabbitmq очередь: Даже я пытался airflow worker -q=default - ра…
03 авг '17 в 13:24
1 ответ

Исключение воздушного потока: сбой DataFlow с кодом возврата 1

Я пытаюсь выполнить поток данных JAR через скрипт воздушного потока. Для этого я использую DataFlowJavaOperator. В параметре jar я передаю путь к исполняемому файлу jar, присутствующему в локальной системе. Но когда я пытаюсь запустить это задание, …
12 сен '17 в 11:56
0 ответов

Параметры соединения MySQL с воздушным потоком с URI

Я пытаюсь использовать документацию по методу MySqlHook.bulk_load() в моей задаче Airflow, и, если мое понимание правильное, я должен включить "local_infile" и "oose-local-infile", когда создаю соединение с моей базой данных MySQL. для того, чтобы э…
21 ноя '17 в 21:45
3 ответа

Очистить задание вверх по течению в потоке воздуха

У меня есть задача в DAG воздушного потока. у него три дочерних задания. к сожалению, есть случаи, когда это родительское задание будет выполнено успешно, но два из трех дочерних элементов потерпят неудачу (и повторная попытка дочерних элементов не …
17 дек '17 в 08:08
4 ответа

Состояние задачи "Воздушный поток" в пределах метки

Мне нужен статус задания, например, если оно выполняется, или вы неуспешно пытаетесь выполнить его в течение того же дня. Поэтому я попытался получить его, используя приведенный ниже код, хотя я не получил вывод... Auto = PythonOperator( task_id='te…
02 май '17 в 07:41
2 ответа

Упс... AttributeError при очистке состояния невыполненной задачи в потоке воздуха

Я пытаюсь очистить невыполненную задачу, чтобы она снова запустилась. Я обычно делаю это с веб-интерфейсом из дерева После выбора "Очистить" я попадаю на страницу с ошибкой: Трассировка на этой странице - та же ошибка, которую я получаю при попытке …
16 янв '18 в 16:29
3 ответа

Структура воздушного потока / организация задач и задач

Мои вопросы: Что такое хорошая структура каталогов для организации ваших задач и задач? (примеры дагс показывают только пару задач) В настоящее время у меня есть свои dags в корне папки dags и мои задачи в отдельных каталогах, не уверен, как это сде…
07 июн '17 в 23:47
1 ответ

Поток воздуха - это одно и то же, зависит от и_памятника, и триггера?

В airflow.models.BaseOperator. У вас есть два параметра по умолчанию: depends_on_past=False а также trigger_rule=u'all_success' Согласно доку depen_on_past (bool) - если задано значение true, экземпляры задач будут выполняться последовательно, полаг…
25 дек '17 в 13:01
1 ответ

web-сервер airflow -p 8080 приводит к ошибке OSError: [Errno 13] Отказано в доступе

После установки пакета airflow в экземпляре AWS EC2 я пытаюсь запустить веб-сервер airflow. Он показывает проблему с отказом в разрешении. Я не получаю файл или папку, которые он пытается создать / изменить, чтобы получить эту ошибку. [root@ip-172-3…
13 июн '17 в 04:56
6 ответов

Сбой воздушного потока

Как я могу настроить Airflow так, чтобы любой сбой в группе обеспечения доступности баз данных (немедленно) приводил к появлению слабого сообщения? На данный момент я управляю этим путем создания slack_failed_task: slack_failed_task = SlackAPIPostOp…
16 июн '17 в 09:58
1 ответ

Воздушный поток DAG не идет по расписанию

Я новичок в Airflow и создал свой первый DAG. Вот мой код DAG. Я хочу, чтобы DAG запускался сейчас, а затем запускался один раз в день. from airflow import DAG from airflow.operators.bash_operator import BashOperator from datetime import datetime, t…
12 сен '17 в 18:17
1 ответ

HttpSensor воздушного потока не будет работать

Я пытаюсь создать HttpSensor в Airflow, используя следующий код: wait_to_launch = HttpSensor( task_id="wait-to-launch", endpoint='http://' + socket.gethostname() + ":8500/v1/kv/launch-cluster?raw", response_check=lambda response: True if 'oui'==resp…
01 окт '17 в 09:44
2 ответа

Воздушный поток: как передать значение xcom из PostgreOperator?

Я использую Airflow 1.8.1 и хочу отправить результат запроса sql от PostgreOperator. Вот мои задачи: check_task = PostgresOperator( task_id='check_task', postgres_conn_id='conx', sql="check_task.sql", xcom_push=True, dag=dag) def py_is_first_executi…
11 авг '17 в 08:55
1 ответ

(Джанго) ОРМ в потоке воздуха - возможно ли это?

Как работать с моделями Django в задачах Airflow? Согласно официальной документации Airflow, Airflow предоставляет хуки для взаимодействия с базами данных (например, MySqlHook / PostgresHook / etc), которые впоследствии могут быть использованы в Опе…
24 ноя '17 в 09:35
1 ответ

Конфигурация воздушного потока в переменной среды не работает

Я попытался использовать переменную ENV для настройки URL-адресов подключения, у меня есть ami, который предварительно сконфигурирован с alchemy_conn и broker_url и т. Д., Я записал переменные окружения в / etc / environment в экземплярах, которые з…
09 ноя '17 в 07:08
2 ответа

Как настроить поток воздуха DAG работает непрерывно

Я использую поток воздуха, чтобы запланировать задание зажигания, мне нужно, чтобы группа обеспечения доступности баз данных "работала непрерывно" - как будто я просто хочу, чтобы группа обеспечения доступности баз данных запускалась, а когда она за…
21 ноя '17 в 20:46
2 ответа

"Наивное datetime запрещено" при запуске команды Bash с использованием Apache Airflow

Это выглядит как sqlAlchemy могло бы быть подтяжка лица с того времени, что Airflow Учебник был написан: он не принимает дату в формате YYYY-DD-MM это показано в руководстве по адресу http://pythonhosted.org/airflow/tutorial.html: $airflow test tuto…
30 дек '17 в 03:14
0 ответов

Не удалось получить вход в поток воздуха от s3

Мой файл airflow.cfg выглядит следующим образом: remote_base_log_folder = S3://xxx-yyy-airflow/ remote_log_conn_id = s3ConInfo # Use server-side encryption for logs stored in S3 encrypt_s3_logs = False # DEPRECATED option for remote log storage, use…
24 ноя '17 в 19:11