Не удалось получить информацию о смещении для группы потребителей kafka с помощью CLI zookeeper

Question

Я использую Zookeeper

Я использую интерфейс командной строки zookeeper для получения информации о смещении для данной группы потребителей.

Ниже работает нормально

Command: get /consumers/[ConsumerGroup]/offsets/[TopicName]

o/p : 
0:1640002
cZxid = 0x304ca036d
ctime = Fri Dec 23 17:29:30 UTC 2016
mZxid = 0x30af96e80
mtime = Fri Feb 24 19:15:00 UTC 2017
pZxid = 0x304ca036d
cversion = 0
dataVersion = 113179
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 9
numChildren = 0

Но ниже один не работает

command: get /consumers/[Same_Consumer_Group]/offsets/[Same_Topic_Name]/0

o/p:Node does not exist: /consumers/[Same_Consumer_Group]/offsets/[Same_Topic_Name]/0

Поэтому, когда я пытаюсь получить информацию о смещении с помощью PARTITION_ID, это не работает.

Примечание Первая команда, показывающая 0:1640002 так что это означает, что смещение 1640002 в разделе 0. Пожалуйста, помогите мне решить эту проблему

Answer 1

Zookeeper - это, по сути, дерево, а numChildren = 0 говорит, что

/consumers/[ConsumerGroup]/offsets/[TopicName] 

является листовым узлом и, таким образом, как и ожидалось, когда вы пытаетесь получить его (несуществующий) дочерний узел, вы получаете ошибку.

Согласно https://cwiki.apache.org/confluence/display/KAFKA/Kafka+data+structures+in+Zookeeper из Kafka 0.8 способ хранения смещений в Zookeeper заключается в том, что

/consumers/[ConsumerGroup]/offsets/[TopicName] 

сам не содержит никаких данных, и вместо этого смещения могут быть найдены в дочерних узлах

/consumers/[ConsumerGroup]/offsets/[TopicName]/[Partition]

Однако, поскольку для вас это явно не тот случай, я предполагаю, что вы используете какую-то более старую версию Kafka или что (для некоторой версии Kafka) для одной темы раздела дополнительный уровень в дереве отсутствует. не создано.

Но, на мой взгляд, все это не должно волновать вас. Глядя на вывод, который вы опубликовали, кажется, что у вас есть тема с 1 разделом, и смещение для этой конкретной группы потребителей в этом разделе составляет 1640002. Это вся информация о смещении, которая вам нужна, нет?

Теперь, если в теме более 1 раздела, может происходить что-то странное.

Если вы считаете, что проблема не устранена, опубликуйте в комментариях версии Kafka и Zookeeper, а также количество разделов в теме.

Позвольте мне знать, если это помогает.