Как изменить сообщение одной темы Кафки и отправить в другую тему Кафки с помощью Java?

Question

Я создал продюсера, который создает MSG для одной темы A, и мне нужно, чтобы я внес изменения в этот MSG и хочу отправить их в другую тему B, я пытаюсь сделать это с помощью потоков Kafka, но не уверен, что это правильный путь или нет. если для этого требуются потоки Кафки, то, пожалуйста, поделитесь, каким должен быть код для записи?

Answer 1

Есть много вариантов, как вы можете к этому.

API потоков Kafka - это одна из возможностей с тем преимуществом, что вы не добавляете новую зависимость в свой проект. Как просто stream.map(...).to(...) как программа должна сделать это. Проверьте документы и примеры для более подробной информации:

• http://docs.confluent.io/current/streams/index.html
• https://github.com/confluentinc/examples

Вы могли бы даже использовать простой KafkaConsumer а также KafkaProducer чтобы сделать это (но использование потокового API Kafka кажется более естественным, чем это).

Конечно, вы также можете использовать инфраструктуру потоковой обработки, такую ​​как Apache Flink, Apache Storm, Apache Apex, Heron (или, возможно, Apache Spark) - наверняка, есть и другие. Программу было бы так же просто написать, как показано на рисунке выше. Но вам нужно настроить кластер обработки, чтобы развернуть вашу работу для этой среды потоковой обработки.

Answer 2

Вы должны изучить использование Apache Storm, он будет очень подходящим для ваших нужд.

Я использовал его, и он очень хорошо и гели, как вода в молоке с кафкой. Это также очень легко реализовать.

Удачи