S3ToGCSOperator: ошибка подключения при получении файла с S3 на GCS
Прошу прощения за любую ошибку, но я пытался получить данные из корзины S3 в GCS с предоставленным оператором: S3ToGCSOperator.
Ниже приведена ошибка, которую я получаю:
environment_uri = os.environ.get(CONN_ENV_PREFIX + conn_id.upper()) AttributeError: объект «Соединение» не имеет атрибута «верхний»
Я пробовал следующие способы создания соединения и передачи S3ToGCSOperator в качестве параметра:
- Создание соединения в том же файле DAG с использованием Connection()
- Импорт соединения из airflow.models.connection import Connection
- Создание переменной среды и передача URI в качестве значения
Но ни один из подходов не сработал, иногда пишет, что не удалось найти учетные данные.
Я бы хотел знать:
- Какой конфиг использовать, чтобы соединение передавалось оператору
- Где создать/объявить соединение
Окружающая среда:
- опорная точка
- Облачный композитор 2.1.4
Надеюсь получить несколько предложений в ближайшее время.
Спасибо!