Описание тега google-cloud-composer

Описание тега Вопросы с тегом
Google Cloud Composer - это полностью управляемая служба оркестровки рабочих процессов, построенная на Apache Airflow, которая дает вам возможность создавать, планировать и отслеживать конвейеры, охватывающие облака и локальные центры обработки данных.

Cloud Composer — это продукт Google Cloud Platform (GCP). По сути, это «хостинг/управление Apache Airflow».

Продукт позволяет создавать, планировать и отслеживать задания, каждое задание представлено в виде DAG (ориентированного ациклического графа) различных операторов. Вы можете использовать встроенные определения операторов Airflow и/или определить свои собственные на чистом Python.

Хотя технически вы можете выполнять обработку данных непосредственно в задаче (экземпляр оператора), чаще вам потребуется, чтобы задача вызывала какую-то обработку в другой системе (которая может быть чем угодно — контейнером, BigQuery, Spark и т. д.). Часто вы будете ждать завершения этой обработки с помощью оператора датчика воздушного потока, возможно, запускать дополнительные зависимые задачи и т. д.

Пока Cloud Composer находится под управлением, вы можете применять различные настройки, например указывать, какие модули pip устанавливать, аппаратные конфигурации, переменные среды и т. д. Cloud Composer позволяет переопределять некоторые, но не все параметры конфигурации Airflow.

Дополнительные технические сведения: Cloud Composer создаст кластер Kubernetes для каждой созданной вами среды Airflow. Здесь будут выполняться ваши задачи, но вам не нужно ими управлять. Вы поместите свой код в определенное ведро в облачном хранилище, и Cloud Composer будет синхронизировать его оттуда.