Описание тега airflow-connections
1
ответ
Как правильно кодировать `extra` параметры при использовании` airflow connections add`
Постановка задачи При редактировании пользовательского интерфейса я могу добавить изменение дополнительного поля, чтобы оно содержало {"no_host_key_check": true} Но когда я пытаюсь добавить это соединение из интерфейса командной строки с помощью это…
11 авг '21 в 03:02
1
ответ
Dag Airflow не может найти идентификатор подключения
Я управляю средой Google Cloud Composer, в которой работает Airflow для группы инженеров данных. Меня недавно попросили устранить неполадки в одном из запускаемых ими дагов, который выдает следующую ошибку: [12:41:18,119] {credentials_utils.py:23} W…
04 окт '21 в 19:34
0
ответов
Работа с путем к файлу в качестве соединений в воздушном потоке
После настройки соединения пути к файлу на uri воздушного потока. Как вы читаете файл в сценарии dag воздушного потока? будет ли в этом сценарии достаточно функции 'variable.get'? у меня есть ошибка воздушного потока, не читающего соединение как пер…
06 янв '22 в 20:17
0
ответов
S3ToGCSOperator: ошибка подключения при получении файла с S3 на GCS
Прошу прощения за любую ошибку, но я пытался получить данные из корзины S3 в GCS с предоставленным оператором: S3ToGCSOperator. Ниже приведена ошибка, которую я получаю: environment_uri = os.environ.get(CONN_ENV_PREFIX + conn_id.upper()) AttributeEr…
10 фев '22 в 02:38
1
ответ
Соединение, используемое в Airflow DAG, не предоставляет _расшифрованный_ пароль или дополнительный — проблема создания DAG
Я расширяю образ Airflow:2.2.0 и пытаюсь использовать Connection в DAG, чтобы делать запросы GET с помощью специального хука. Однако, независимо от того, что я пытаюсь сделать, и следуя любым найденным предложениям, DAG, похоже, не получает расшифро…
29 окт '21 в 16:08
0
ответов
Как создать aws_iam_role для дополнительного раздела соединения S3
Я пытаюсь настроить роль IAM, которую можно использовать для создания соединения S3 в моем Airflow. Похоже, я могу добавить следующий большой двоичный объект JSON в дополнительный раздел страницы подключения S3: { "aws_iam_role": "aws_iam_role_name"…
17 мар '22 в 16:49
1
ответ
KubernetesPodOperator не может получить доступ к соединениям Airflow, хранящимся в Google Secrets Manager.
я использую Composer version 2.0.0 Airflow 2.1.4и я создал файл, который пытается получить доступ к соединению Airflow, хранящемуся в Google Secrets Manager. Но он не может найти учетные данные (см. исключения ниже). Я также пытался передать секреты…
01 апр '22 в 08:22
0
ответов
Airflow - Как зашифровать соединение, построенное через Extra
У меня есть подключение к AWS S3 в Airflow с дополнительной конфигурацией: aws_access_key_id aws_secret_access_key Однако, поскольку эти учетные данные хранятся в дополнительном поле, они не зашифрованы, и все, у кого есть доступ к пользовательскому…
13 дек '22 в 08:18
0
ответов
Airflow не может подключиться к учетным данным Google
Я работаю на сервере VM SSH в облаке Google. у меня проблема с воздушным потоком не удается подключиться к GCP, я следил за ответами, которые кто-то сделал, и это помогает ему, но для меня этот процесс мне не помогает, вот ошибка, и это то, что я сд…
05 фев '23 в 08:12
0
ответов
как использовать команду запуска импалы из Airflow
У меня есть задача выполнить запрос на импале из воздушного потока. Не знаете, как это сделать? Я пробовал запрос Impala с использованием Airflow , но не повезло.
15 дек '22 в 22:05
0
ответов
Установка провайдеров приточного воздуха для подключений
Я настроил воздушный поток 2.5.1, используя docker Compose в EC2. Я уже перенес все подключения из предыдущей версии airflow 1.10 и установил большинство пакетов. Но у меня проблемы с некоторыми подключениями. Я установил каждый из них в планировщик…
30 мар '23 в 09:09
0
ответов
Невозможно подключиться к Airflow с помощью ODBC.
Я изо всех сил пытаюсь подключиться к SQL с помощью ODBC даже для прямого подключения к SQL без использования ODBC. Я пробовал подключиться напрямую к SQL и подключиться с помощью ODBC. Посмотрите на картинку ниже. Я пытался зайти в администратора п…
28 авг '23 в 16:01
0
ответов
Соединение «снежинка» воздушного потока не отображается в пользовательском интерфейсе
Я установил воздушный поток 2.5.1 на докере. Заморозка pip в планировщике, рабочем и веб-сервере: apache-airflow==2.5.1 apache-airflow-providers-snowflake==4.0.4 snowflake==0.0.3 snowflake-connector-python==3.0.2 snowflake-sqlalchemy==1.4.7 sqlalche…
31 мар '23 в 07:40
0
ответов
Тип подключения моего веб-сервиса Amazon (AWS) отсутствует в моем Airflow, хотя пакет/провайдер установлен в Airflow.
Я новичок в этом stackoveflow и хочу спросить о типах соединений в моем Airflow. В моем типе подключения нет Amazon Web Services (AWS), хотя он уже установлен в моей среде Airflow и моя версия Airflow самая последняя, а именно 2.7.1 и конечно она …
29 сен '23 в 06:52
0
ответов
Соединение Oracle Airflow: __init__() отсутствует 1 обязательный позиционный аргумент: 'backend'
У меня вопрос о подключении оракула Ariflow. Я много перепробовал, но не нашел решения, мне нужна ваша помощь. Я использую версию Airflow 2.5.1 на компьютере с Ubuntu, я установил провайдера Oracle и т. д. все доступно в сети БД, но при подключении …
11 сен '23 в 06:47