Не могу использовать модуль плагина с Cloud Composer
Я пытаюсь использовать Cloud Composer для запуска моего рабочего процесса. Я хотел использовать оператор "GoogleCloudStorageToGoogleCloudStorageOperator", который доступен в Apache Airflow v1.10, но не поддерживается в текущем облачном компоновщике (пока он поддерживает только Apache Airflow v1.9 (2019/01/16)).
Следуя указаниям в блоге Google, я сам добавил оператора в среду облачного композитора, и он работал хорошо лишь несколько дней назад.
Однако на данный момент, когда я попытался создать новую среду облачного композитора и развернуть ту же группу обеспечения доступности баз данных, которая хорошо работала ранее, я получил следующее сообщение об ошибке в веб-интерфейсе Airflow. И DAG провалился.
Broken DAG: [/home/airflow/gcs/dags/xxx.py] Relationships can only be set between Operators; received GoogleCloudStorageToGoogleCloudStorageOperator
Я не мог понять, почему эта ошибка произошла, даже если я использовал тот же код и следовал той же процедуре, чтобы развернуть свою группу доступности базы данных в облачном компоновщике.
Я ценю тех, кто дает мне советы по решению этой проблемы.
2 ответа
Это было связано с ошибкой в Composer 1.4.2, которая уже была исправлена.
Попробуйте DAG на Astronomer Cloud ( http://astronomer.io/cloud), бесплатная 30-дневная пробная версия.
Раскрытие: я работаю в Астроном.