Описание тега airflow
Apache Airflow - это платформа управления рабочими процессами для программного создания, планирования и мониторинга рабочих процессов в виде направленных ациклических графов (DAG) задач.
0
ответов
Использование одного знака на нескольких входах в Airflow
Я пытаюсь реализовать конвейер в Airflow, который будет многократно запускаться для разных входных файлов. Я хочу отправить в AWS несколько таких заданий, чтобы они могли работать параллельно. Может ли Airflow обрабатывать планирование и представлен…
01 авг '18 в 23:55
2
ответа
Доступ к переменной 'ds' в потоке воздуха
Я могу получить доступ к макросам в коде Python, как показано ниже: partition_dt = macros.ds_add(ds, 1) Но я не могу понять, как получить ds Сама переменная, которая, казалось бы, может быть доступна только в шаблонах. Есть указатели?
31 мар '17 в 20:36
2
ответа
Макросы воздушного потока в Python Operator
Я пытаюсь использовать макросы Airflow в своем операторе Python, но получаю сообщение "airflow: error: нераспознанные аргументы:" Поэтому я импортирую функцию, которая имеет 3 позиционных аргумента: (sys.argv, start_date, end_date), и я надеюсь сдел…
05 июн '18 в 20:12
0
ответов
Планирование воздушного потока
Я разрабатываю критически важные приложения, связанные с SLA, которые работают в разных временных диапазонах и интервалах каждый день, поэтому я отмечаю здесь несколько сценариев и пропущенных SLA-сценариев, в которых я не уверен, что Airflow сможет…
15 авг '18 в 06:34
1
ответ
Виды моделей плагинов Airflow Не защищены
Как защитить пользовательские модели Airflow, добавленные через систему плагинов, от неаутентифицированного пользователя? В настоящее время я использую защиту паролем, но страницы, добавленные моим плагином, доступны без входа в систему...
01 ноя '17 в 10:15
1
ответ
Датчик обратного потока http воздушного потока
Наша реализация airflow отправляет http-запросы для получения услуг для выполнения задач. Мы хотим, чтобы эти службы сообщали airflow, когда они завершают свою задачу, поэтому мы отправляем URL-адрес обратного вызова в службу, которую они будут вызы…
27 июл '18 в 21:57
0
ответов
Как импортировать линию воздушного потока в атлас?
Мне нравится это: https://airflow.apache.org/lineage.html в моем airflow.cfg: [lineage] backend = airflow.lineage.backend.atlas [atlas] username = my_username password = my_password host = host port = 21000 Я запускаю образец DAG в ariflow, а затем …
29 ноя '18 в 12:51
1
ответ
Запуск `airflow scheduler` запускает 33 процесса планировщика
Когда используешь LocalExecutor с MySQL бэкэнд, работает airflow scheduler на моем блоке Centos 6 создается 33 процесса планировщика, например deploy 55362 13.5 1.8 574224 73272 ? Sl 18:59 7:42 /usr/local/bin/python2.7 /usr/local/bin/airflow schedul…
10 мар '17 в 23:01
2
ответа
Как удалить поврежденный DAG из списка воздушных потоков?
В потоке воздуха показать информацию о Broken DAG Broken DAG: [/data/airflow/dags/copy_from_Oracle_to_MySQL.py] No module named Oracle_to_MySQL_plugin Я попытался переместить файл с помощью DAG copy_from_Oracle_to_MySQL.py из /data/airflow/dags. Но …
30 ноя '17 в 09:50
1
ответ
Воздушные соединения и кратковременные пароли
Одна из проблем, с которой мы сталкиваемся при реализации воздушного потока, заключается в том, что большинство наших подключений, кажется, является проблемой для него. После некоторого решения соединения через SSH я столкнулся с проблемой коротких …
08 май '18 в 09:03
1
ответ
Как мне вызвать ошибку с Bash?
Я пытаюсь вызвать ошибку в Bash, в блоке, который заключен в скрипт Python Airflow. export PATH=/home/ubuntu/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/snap/bin export rundate=`TZ='America/Los_Angeles' date +%F -d "yesterday"`…
15 июн '17 в 22:39
1
ответ
Как использовать поток воздуха для обработки данных в реальном времени
У меня есть сценарий, где я хочу обработать CSV-файл и загрузить в другую базу данных: случаи Pic CSV-файл и загрузить в MySQL с тем же именем, что и CSV затем внесите некоторые изменения в загруженные строки, используя файл задачи Python после этог…
26 фев '18 в 06:20
0
ответов
Создание соединения для Marketo из apache airflow UI
Мне нужно экспортировать мои маркетинговые данные с помощью Apache Airflow. Я использую следующий плагин, предоставленный astronomer.io (управляемый поток воздуха) https://github.com/astronomer/airflow-guides/blob/master/guides/marketo-to-redshift.m…
22 ноя '18 в 10:49
1
ответ
MssqlHook подключение воздушного потока
Я новичок в использовании воздушного потока, и мне нужно использовать MssqlHook, но я не знаю как. Какие элементы я должен дать в конструкторе? У меня есть соединение в потоке воздуха с именем connection_test. Я не полностью понимаю атрибуты в класс…
15 авг '18 в 12:58
0
ответов
Как запланировать работу календаря в airflow
Я пытаюсь запланировать работу календаря в потоке воздуха. Я экспортировал работу календаря, где я получил .sh, .bat а также .jar файлы. Используя IP-адрес воздушного потока, залогинившись в шпаклевку и пытаясь запланировать работу, написав .py скри…
15 авг '18 в 15:55
0
ответов
Apache Airflow и Crate дБ
Я пытаюсь настроить соединение jdbc для ящика, но, похоже, библиотека jaydebeapi, используемая airflow, которая вызывает JPype1, приведет к сбою JVM при попытке зарегистрировать драйвер jdbc. Кому-нибудь удалось создать соединение jdbc для ящика?
26 янв '18 в 15:53
3
ответа
BashOperator не запускает поток файлов Apache Apache
Я только начал использовать apache airflow. Я пытаюсь запустить файл test.sh из воздушного потока, но он не работает. Ниже мой код, имя файла test.py import os from airflow import DAG from airflow.operators.bash_operator import BashOperator from dat…
15 фев '17 в 20:23
1
ответ
Работник воздушного потока не прослушивает очередь rabbitmq по умолчанию
Я настроил Airflow с Rabbitmq брокером, услуги: airflow worker airflow scheduler airflow webserver работают без каких-либо ошибок. Планировщик выдвигает задачи для выполнения на default Rabbitmq очередь: Даже я пытался airflow worker -q=default - ра…
03 авг '17 в 13:24
1
ответ
Исключение воздушного потока: сбой DataFlow с кодом возврата 1
Я пытаюсь выполнить поток данных JAR через скрипт воздушного потока. Для этого я использую DataFlowJavaOperator. В параметре jar я передаю путь к исполняемому файлу jar, присутствующему в локальной системе. Но когда я пытаюсь запустить это задание, …
12 сен '17 в 11:56
4
ответа
Как запустить Spark-код в Airflow?
Привет люди Земли! Я использую Airflow для планирования и запуска задач Spark. Все, что я нашел к этому времени, это Python DAG, которыми может управлять Airflow. Пример DAG: spark_count_lines.py import logging from airflow import DAG from airflow.o…
03 окт '16 в 08:56