Описание тега airflow-operator
В воздушном потоке оператор представляет единственную, в идеале идемпотентную задачу. Операторы определяют, что на самом деле выполняется при запуске DAG.
1
ответ
Случай использования фиктивного оператора
Я изучал apache airflow и обнаружил, что есть оператор под названием DummyOperator. Я погуглил по поводу его варианта использования, но не смог найти ничего, что смогу понять. Может кто-нибудь здесь, пожалуйста, обсудите его вариант использования?
13 авг '19 в 18:43
0
ответов
Как использовать функцию field_to_bigquery(self, field) для MySqlToGoogleCloudStorageOperator
Я пытаюсь экспортировать некоторые данные из Mysql в GCS, а затем загрузить экспортированные jsons в таблицы BigQuery, но у меня возникают проблемы с некоторыми типами данных MySQL, такими как BIT и DateTime, потому что в результате json они появляю…
30 авг '19 в 20:32
0
ответов
Воздушный поток: оператор Bash не дает результатов
Через Airflow, мы пытаемся выполнить приведенный ниже код, этот скрипт выполняется с кодом возврата 0, но без результата. Ссылка: https://airflow.apache.org/tutorial.html Взять тот же пример определения конвейера t1 = BashOperator( task_id='print_da…
22 авг '19 в 21:29
1
ответ
Выгрузить данные из Redshift на S3 с помощью Airflow
Я хотел бы выгрузить данные из базы данных Redshift в корзину S3, которая впоследствии будет использоваться для копирования в другую базу данных. Я написал свой DAG как ниже: from airflow.operators import RedshiftToS3Transfer from datetime import da…
28 авг '19 в 12:54
1
ответ
Можно ли выполнить более быструю засыпку в Airflow?
Я много об этом искал, но не смог найти какой-либо существенной информации об этом. Моя проблема в том, что у меня есть группа доступности базы данных, которая должна заполнить данные с марта 2017 года. Итак, я поставил start_date: '01-03-2017'. Я т…
25 авг '19 в 21:04
0
ответов
Регистрировать HTML-сущность вместо обычного текста в Airflow KuberbetesOperator
Я пытаюсь добавить тег Anchor в журнал программы, но к тому времени, когда Airflow получает журнал из модуля и публикует его в пользовательском интерфейсе, он автоматически выполняет кодирование HTML для всего содержимого журнала, поэтому ведите жур…
23 авг '19 в 01:47
1
ответ
работает KubernetesPodOperator
Я использую воздушный поток на Kubernetes и использую "Оператор Kubernetes". Когда я запускаю BashOperator или PythonOperator, он отлично работает, используя: executor_config = { "KubernetesExecutor": { "image": "image_with_airflow_and_my_code:lates…
10 окт '19 в 09:48
0
ответов
Невозможно получить старое значение xcom с помощью xcom_pull () в Airflow
Я попробовал приведенный ниже код получить старое значение xcom, но оно возвращает None, хотя тот же ключ доступен в xcom. jira_created_list = context['task_instance'].xcom_pull(key="jira_created_list"). Мое требование состоит в том, что в любой ден…
21 апр '20 в 16:06
1
ответ
Домашняя страница веб-сервера Airflow постоянно загружается и показывает ошибки на страницах html
Я установил Airflow - 2.0.0.dev0, используя https://github.com/apache/airflow/blob/master/INSTALL и решил все проблемы с зависимостями. Теперь следующие три вещи работают нормально, не вызывая ошибок '' airflow db init airflow scheduler airflow webs…
12 сен '19 в 11:44
1
ответ
ОШИБКА - ошибка оператора SSH: истекло время ожидания в Airflow при подключении к экземпляру ec2
Я получаю ошибку тайм-аута при попытке подключиться к экземпляру ec2. Я могу подключиться к машине через команду ssh: ssh -i keypair.pem myuser@ec2IPaddress В моем файле подключения есть следующее: conn Id: ssh_custom Тип соединения: SSH Host: ec2IP…
26 ноя '19 в 13:13
0
ответов
Как мне подключиться к SSH с помощью Airflows SSHOperator?
Я пытаюсь подключиться к экземпляру ec2 с воздушным потоком с помощью SSHOperator, но мой dag не работает со следующим сообщением об ошибке: [2020-05-24 06:17:04,191] {base_task_runner.py:98} INFO - Subtask: File "/usr/local/lib/python3.6/site-packa…
24 май '20 в 10:26
2
ответа
Воздушный поток: пропустить строку перед оператором битового сдвига
Можно ли разрывать строки между оператором bitfshift при настройке зависимостей задач в DAG? В моей группе DAG 10 задач, и все они должны выполняться последовательно, без распараллеливания. Я хотел бы связать их в своем коде вертикально, как показан…
14 май '20 в 01:39
1
ответ
получение ошибки при использовании оператора livybatch в Airflow, сбой DAG
Может ли кто-нибудь помочь мне в этом при использовании livybatchoperator в Airflow, ниже мой код... кроме того, какой другой способ запустить искровую работу в воздушном потоке, кроме искрового оператора, в моем случае искра установлена на другой…
05 авг '20 в 11:58
2
ответа
Как мы можем использовать SFTPToGCSOperator в среде композитора GCP (1.10.6)?
Здесь я хочу использовать SFTPToGCSOperator в среде композитора (1.10.6) GCP. Я знаю, что есть ограничение, потому что оператор присутствует только в последней версии воздушного потока, а не в последней версии композитора 1.10.6. См. Ссылку -https:/…
13 май '20 в 15:42
1
ответ
Как совместить операторов Airflow?
Почти все мои группы DAG будут иметь подмножество повторяющихся операторов. И из-за моего варианта использования очень хорошо получается создавать новые операторы-оболочки, которые объединяют несколько операторов, чтобы уменьшить шаблон. У меня вопр…
07 сен '19 в 02:45
0
ответов
Где Apache Airflow хранит атрибуты задач (например, для BigQueryOperator)?
В веб-интерфейсе Airflow вы можете щелкнуть экземпляр задачи из своей группы DAG и просмотреть сведения об экземпляре задачи. на этой странице я вижу раздел "Атрибуты задачи", который включает bql и другую полезную информацию. Я пытаюсь придумать ав…
09 сен '19 в 23:29
2
ответа
Хотите использовать TriggerDagRunOperator в Airflow, чтобы запускать множество вложенных тегов, используя только Main-dag с bashoperator (оператор sub-dag)
Невозможно понять концепцию полезной нагрузки в воздушном потоке с помощью TriggerDagRunOperator. Пожалуйста, помогите мне понять этот термин очень простым способом.
18 сен '19 в 20:34
1
ответ
Обмен данными между двумя задачами в Airflow Dag
Я хочу выполнить запрос улья с помощью HiveOperator, и вывод этого запроса должен передаваться в скрипт python с помощью PythonOperator. Возможно ли это и как?
22 окт '19 в 16:59
3
ответа
Нет модуля с именем airfow.gcp - как запустить задание потока данных, использующее python3/beam 2.15?
Когда я использую операторы / перехватчики, такие как BigQueryHook, я вижу сообщение о том, что эти операторы устарели и используют версию оператора airflow.gcp... Однако, когда я пытаюсь использовать его в своем даге, он терпит неудачу и говорит, ч…
24 окт '19 в 19:44
1
ответ
Как прикрепить объем воздушного потока рабочего к воздушному потоку kubernetes pod operator?
Я пытаюсь использовать оператор модуля kubernetes в воздушном потоке, и есть каталог, которым я хочу поделиться с модулем kubernetes на моем работнике воздушного потока, есть ли способ смонтировать каталог рабочего модуля воздушного потока в модуль …
02 сен '19 в 12:29