Возможно ли получение потребителя из темы Azure EventHub из Apache Beam / Google Cloud Dataflow?
Проблема
Мы хотели бы использовать тему EventHub в Azure с помощью конвейера потока данных в Google Cloud.
Вопрос
Известно ли, позволяет ли KafkaIO использовать данные из EventHubs непосредственно в задании потока данных Apache Beam/Google Cloud? (см. этот пост)
Также приветствуются альтернативные подходы для получения данных EventHub в Pub/Sub (например, публикация из Azure Streaming Analytics в Pub/Sub).
Спасибо!
2 ответа
Центры событий Azure поддерживают протокол Apache Kafka 1.0 и более поздних версий, поэтому вы должны иметь возможность получать события из концентраторов событий с помощью KafkaIO (который поддерживает версии Kafka 0.10.1 и новее). В Google Cloud есть руководство по обработке сообщений от Kafka в Dataflow здесь.
Концентраторы событий Azure на двоичном уровне совместимы с протоколом Kafka, поэтому любой клиент или конвейер Kafka должен иметь возможность получать события из темы концентраторов событий.