Потребители Kafka сбалансированы по темам

Question

Я создаю 6 потребителей с одинаковым идентификатором группы. Все потребители подписываются на 2 темы с 3 разделами в каждой. Поскольку в двух темах 6 потребителей и 6 разделов, я ожидаю, что будут использованы все потребители. Но я не вижу, чтобы все потребители использовались, есть ли способ заставить его восстановить баланс?

Я использую Кафку 0.10.2.0

Answer 1

Присвоение разделов потребителям в одной и той же группе потребителей не выполняется по темам. Следуя тому, что с вами происходит... У вас есть t1_p0, t1_p1 и t1_p2 (разделы по теме1) и t2_p0, t2_p1 и t2_p2 (разделы по теме2). Тогда у вас есть группа потребителей с 6 потребителями c1, c2, ... c6. Когда они подписываются на topic1, может случиться так, что c1, c2 и c3 получат t1_p0, t1_p1 и t1_p2; остальные 3 потребителя (c4, c5, c6) бездействуют, потому что не хватает разделов. Когда одни и те же потребители подписываются на topic2, это может происходить одинаково: c1, c2 и c3 получают t1_p0, t1_p1 и t1_p2; остальные 3 потребителя (c4, c5, c6) бездействуют, потому что не хватает разделов. Я знаю, что вы хотели бы, чтобы c4, c5 и c6 получали эти разделы из темы 2, но, как я уже сказал, назначение разделов происходит не по темам, а по разделам в одной и той же теме. В этом сценарии у вас есть c4, c5 и c6 в режиме ожидания и не используются.