Обновление клиента Kafka с 0.8.2.0 до 0.11.0.0

В настоящее время в моей компании мы осуществляем миграцию с Kafka 0.8 до 0.11, этапы миграции брокеров и четко указаны в документации по kafka здесь.

Я застрял в том, что, модернизируя клиентов kafka (производителей, потребителей, потоковое вещание), я не нахожу никакой документации / статей, в которых четко перечисляются необходимые изменения или шаги, которые необходимо выполнить, чтобы обновить клиента, все, что я найден клиент продюсер java doc

Что я сделал, так это изменил версию клиента kafka в моем Gradle на kafka-clients-0.11.0.0и все с точки зрения компиляции прошло нормально, без каких-либо изменений кода.

Я обращаюсь за помощью: есть ли ожидаемые проблемы, о которых мне следует позаботиться, какие-либо указатели на изменения клиента, кроме версии kafka-client?

Источник

1 ответ

Решение

Я прошел много экспериментов, чтобы сделать это.

Для потребителей и производителей я просто использовал kafka для потребителей и производителей 0.11.0.

Часть хитрости заключалась в замене spark-streaming, поддержка последней версии spark-streaming только до версии 0.10.X, которая не содержит никаких обновлений, связанных с новым брокером.

Что я рекомендую здесь, если вы собираетесь написать приложение с нуля, и ваша главная цель - потоковая передача в реальном времени для kafka-streaming API, это просто УДИВИТЕЛЬНО!, Если у вас уже есть приложение для потоковой передачи с плавающей точкой (как в моем случае), вы следует либо судить о том, что важнее, чем другое, чтобы застрять с версией 10.X kafka-broker и потоковым искром, который был [experimental][1] Кстати.

Преимущества потоковой передачи внутри кафки не приводят к следующему:

  1. Потоковая передача Kafka - это обычный jar-файл, который можно внедрить в любое java-приложение, так что вас не слишком заботит развертывание и среда
  2. Автоматическое масштабирование очень просто при использовании потоковой передачи kafka с использованием любого набора масштабов, предоставляемого любым поставщиком облачных услуг, в отличие от масштабирования кластера HDP.
  3. Мониторинг с использованием чего-то вроде прометея будет намного проще.
Источник
Другие вопросы по тегам