Dag Airflow не может найти идентификатор подключения
Я управляю средой Google Cloud Composer, в которой работает Airflow для группы инженеров данных. Меня недавно попросили устранить неполадки в одном из запускаемых ими дагов, который выдает следующую ошибку:
[12:41:18,119] {credentials_utils.py:23} WARNING - [redacted-name] connection ID not available, falling back to Google default credentials
Работа представляет собой конвейер данных, который считывает данные из различных источников и сохраняет данные в GBQ. Странно то, что у них есть строго похожий Dag, работающий для другого проекта, и он отлично работает.
Я воссоздал учетные данные .json для учетной записи службы за соединением, а также само соединение в Airflow. Я продезинфицировал код, чтобы увидеть, нет ли там скрытых пробелов или около того.
Мои знания об Airflow ограничены, и я не смог найти подобную проблему в своем исследовании. Кто-нибудь сталкивался с этим раньше?
1 ответ
Итак, команда DE вернулась ко мне, сказав, что на самом деле это проблема развертывания, когда внутренний модуль, участвующий в аутентификации учетной записи службы, использовался внутри другого DAG, работающего в промежуточной среде, что делало невозможным переход к выборке учетных данных из идентификатора соединения.