Kafka-Manager показывает неактивные группы потребителей и неверный лаг
У меня есть кластер kafka из 3 отдельных физических узлов, с каждым хостингом 1 zk а также 1 broker каждый. Мы используем Kafka 0.10.1.1, Темы создаются в ансамбле ZK, и брокеры подключаются к ансамблю ZK. мой Producer а также Consumer это spring-boot app on version 1.5.13 RELEASE, У нас есть несколько тем с одним разделом (т.е. Partition 0), min.insync.replicas=2 а также replication_factor=3, Пока, когда мы проверяем --describe Темы, мы находим все реплики в синхронизации. Reg Consumer Groups, мы видели, что только когда группы потребителей активны, они отображаются через CLI, а также через Kafka-Manager. Пока здесь все в порядке.
Мы добавили персонажа zk:2181 как отдельный кластер в Kafka-manager для мониторинга. Мы видим, даже когда consumer groups не активны, они обнаруживаются в некоторых кластерах (т. е. на зоопарках) с разными значениями лагов. Узел, на котором показывается отставание для определенных тем, даже не является лидером для одного и того же. Когда мы пересекаем проверку с помощью CLI, группа потребителей даже не появляется, кроме KMOffsetCache-<<instance-name>>, kafka-consumer-groups.sh --bootstrap-server ...
Похоже, что zk(s) или consumer_offsets неправильно синхронизированы. Я хотел бы понять, почему? и как исправить то же самое?
Любые входы в правильном направлении будут чрезвычайно полезны!