Описание тега airflow-scheduler
Планировщик Apache Airflow отслеживает все задачи и все группы DAG и запускает экземпляры задач, зависимости которых соблюдены, а Apache Airflow - это платформа для программного создания, планирования и мониторинга рабочих процессов.
0
ответов
Планирование воздушного потока
Я разрабатываю критически важные приложения, связанные с SLA, которые работают в разных временных диапазонах и интервалах каждый день, поэтому я отмечаю здесь несколько сценариев и пропущенных SLA-сценариев, в которых я не уверен, что Airflow сможет…
15 авг '18 в 06:34
2
ответа
Как удалить поврежденный DAG из списка воздушных потоков?
В потоке воздуха показать информацию о Broken DAG Broken DAG: [/data/airflow/dags/copy_from_Oracle_to_MySQL.py] No module named Oracle_to_MySQL_plugin Я попытался переместить файл с помощью DAG copy_from_Oracle_to_MySQL.py из /data/airflow/dags. Но …
30 ноя '17 в 09:50
1
ответ
Проблема с Airflow версии 1.10.1
Недавно я обновил версию воздушного потока до 1.10.1. Я включил некоторые из включенных ярлыков, которые ранее были отмечены как ВЫКЛ. Я всегда использую start_date для dag как сегодняшнюю дату. После включения дагов это принесло ниже вопроса. Плани…
06 фев '19 в 01:56
1
ответ
В Apache Airflow Tool DAG не запускается из-за проблемы с повторяющимся вводом в таблице task_instance
Сегодня весь день я получал эту ошибку в планировщике Airflow. sqlalchemy.exc.IntegrityError: (_mysql_exceptions.IntegrityError) (1062, "Duplicate entry '%' fir key 'PRIMARY')") Из-за этого планировщик воздушного потока останавливался, и каждый раз,…
17 окт '18 в 16:01
1
ответ
Xcom pull возвращает NameError на `ti`
Я пытаюсь вставить в xcom значение с ключом last_date в last_date_task а затем вытащить его из xcom во втором задании ga_wh_task, когда я проверю этот даг, запустив python dag.py он возвращает ошибку в этой строке, например: provide_context=True, si…
16 ноя '18 в 06:42
2
ответа
Воздушный поток - правильный способ обработки обратных вызовов DAG
У меня есть DAG и затем всякий раз, когда это успешно или неудачно, я хочу, чтобы он вызывал метод, который отправляет сообщения в Slack. мой DAG args как показано ниже: default_args = { [...] 'on_failure_callback': slack.slack_message(sad_message),…
03 июл '18 в 06:17
0
ответов
Воздушный поток: журналы не отображаются в пользовательском интерфейсе
Когда я нажимаю на задачу, а затем нажимаю кнопку "Журнал", она ничего не отображает Тем не менее, я отредактировал файл конфигурации, чтобы хранить их где-то конкретное. base_log_folder = /var/log/airflow и в пользовательском интерфейсе конкретно г…
20 фев '19 в 16:38
0
ответов
Apache Airflow Local Executor Использование памяти
Описание: у нас есть локальная установка Apache Airflow v1.9 на 4-ядерном компьютере с 16 ГБ ОЗУ, где мы установили параллелизм исполнителя на 1000, но использование памяти работником во время нереста выглядит подозрительно. Проблема: Поскольку у на…
02 апр '18 в 09:26
1
ответ
Воздушный поток Упакованные пакеты (Zip), не выбранные планировщиком
Я пытаюсь использовать упакованный DAG с Celery Executor, но планировщик и рабочий не поднимают работу. Я перезапустил airflow webserver а также airflow scheduler но все равно безуспешно. Я даже сбросил БД с airflow resetdb но все равно ничего. Я по…
20 июл '18 в 09:52
0
ответов
Разрешения БД метаданных воздушного потока
Есть ли место, где я могу найти список разрешений, которые мне нужно дать, чтобы создать метададб в mysql? Я не хочу делать все для пользователя воздушного потока.
07 авг '18 в 17:25
2
ответа
Есть ли в airflow что-то вроде `вчера_дней` / ` завтра_дней`, но для заданий `@month`?
У меня есть работа, которая использует ds переменная для координации объема работы, которую она обрабатывает, и она запланирована на ежедневный запуск с @daily, select * from events where date = '{{ ds }}'; Тем не менее, я хотел бы написать новую ве…
14 июн '18 в 10:50
2
ответа
Airflow S3KeySensor - Как заставить его продолжать работать
С помощью этого поста Stackru я только что создал программу (ту, которая показана в посте), где, когда файл помещается в корзину S3, запускается задача в одном из моих работающих DAG, а затем я выполняю некоторую работу с помощью BashOperator. После…
29 май '18 в 19:48
2
ответа
Airflow BashOperator OSError: [Errno 2] Нет такого файла или каталога
Я продолжаю получать ту же ошибку от запланированного BashOperator, который в настоящее время заполняется (это больше месяца "позади"). [2018-06-10 22:06:33,558] {base_task_runner.py:115} INFO - Running: ['bash', '-c', u'airflow run dag_name task_na…
11 июн '18 в 05:27
1
ответ
Сколько может масштабироваться воздушный поток?
Кто-нибудь сообщил, насколько они смогли увеличить Airflow в своей компании? Я планирую внедрить Airflow для выполнения более 5000 задач, каждая из которых будет выполняться ежечасно, и когда-нибудь масштабировать до 20 000+ задач. При рассмотрении …
28 авг '18 в 17:36
0
ответов
Запуск воздушного потока с указанием неверного -sd или -SUBDIRECTORY
У меня есть процесс Airflow, работающий каждый день со многими DAGS. Сегодня, внезапно, ни один из DAGS не может быть запущен, потому что когда Airflow вызывает airflow run он указывает каталог -sd, чтобы найти группу DAG. Вот пример: [2018-09-26 15…
26 сен '18 в 14:15
1
ответ
Лучший способ распространения кода на веб-сервер / планировщик воздушного потока + рабочие и рабочие процессы
Что люди считают лучшим способом распространения кода (dags) среди веб-серверов / планировщиков + работников воздушного потока? Я пытаюсь запустить сельдерей на большом кластере рабочих, так что любые ручные обновления нецелесообразны. Я развертываю…
23 май '18 в 07:49
0
ответов
Задание воздушного потока получило статус отключения после очистки DAG
Привет! Я попытался очистить свою группу обеспечения доступности баз данных, однако позже моя задача получила статус отключения, отображаемый синим цветом в веб-сервере Airflow. Это ожидаемое поведение? Как я могу избежать этого после очистки моего …
29 ноя '18 в 06:40
2
ответа
Airflow - Попытка выполнить набор функций Python
Я пытаюсь выполнить скрипт Airflow, который состоит из нескольких функций Python. Эти функции в основном запрашивают базу данных и выполняют несколько задач. Я пытаюсь выполнить это Airflow, чтобы я мог контролировать каждую из этих функций по отдел…
30 май '18 в 06:26
1
ответ
Как увеличить задачи в очереди в секунду?
Я пытаюсь диагностировать неэффективный трубопровод воздушного потока и мне интересно, какую производительность мне следует ожидать от планировщика воздушного потока в терминах, аналогичных "задачам, запланированным в секунду". У меня есть несколько…
01 фев '18 в 16:52
0
ответов
Как настроить AWS KMS на Airflow?
Не могли бы вы посоветовать, поддерживает ли Airflow шифрование на стороне сервера AWS KMS? Если да, есть ли документация по настройке? Я использую версию Airflow 1.9.0. Я пытался создать соединение S3 с дополнительными аргументами вроде - {"aws_acc…
03 ноя '18 в 18:42