Использование Kafka с проводником Netflix

Question

Я хочу знать, есть ли простой способ соединить Kafka и Netflix Conductor (вместо SQS)? В настоящее время, похоже, работает только с Amazon SQS. Более того, кажется, что выполнить задачу можно только одним действием. Есть ли способ выполнить более одного действия по заданию?

Заранее спасибо,

Answer 1

Чтобы добавить поддержку Kafka в Netflix Conductor, вам необходимо

• Создайте модуль в contribs, который расширяет AbstractModule (добавьте запись в ваш server.properties для свойства wirector.additional.modules)
• Внедрить ObservableQueue для производителей и потребителей кафки.
• Реализуйте EventQueueProvider так же, как и реализацию SQS
• Добавьте свойства для вашей инициализации kafka в server.properties

kafka.producer.bootstrap.servers=host1:port1;host2:port2
kafka.producer.key.serializer=org.apache.kafka.common.serialization.StringSerializer
kafka.producer.value.serializer=org.apache.kafka.common.serialization.StringSerializer

kafka.consumer.bootstrap.servers=host1:port1;host2:port2
kafka.consumer.key.deserializer=org.apache.kafka.common.serialization.StringDeserializer
kafka.consumer.value.deserializer=org.apache.kafka.common.serialization.StringDeserializer

• Добавьте поддержку библиотеки kafka в проект, обновив build.gradle модулей contribs.

Обратитесь к ссылке ниже PR для реализации (Автор preeth-gopalakrishnan)

https://github.com/Netflix/conductor/pull/672

(Если вы не нашли PR, предположим, что он объединен с мастером)