Кафка ISR сократилась и не расширяется

Question

У меня есть Kafka Cluster из 3 узлов с 1 ZK и 1 брокером каждый.

Kafka version 0.10.1.1.

Каждая тема имеет replication-factor=3 а также min.insync.replicas=2, Мы проверили, выдав --describe после этого, темы были успешно созданы с правильными replication-factor а также ISR,

Я вижу, что через некоторое время некоторые Темы сократили свой ISR до Единого Лидера.

/opt/kafka/bin/kafka-topics.sh --describe --zookeeper zk1:2181,zk2:2181,zk3:2181 --topic topic1
Topic:topic1  PartitionCount:1        ReplicationFactor:1     Configs:
        Topic: topic1 Partition: 0    Leader: 1       Replicas: 1     Isr: 1

/opt/kafka/bin/kafka-topics.sh --describe --zookeeper zk1:2181,zk2:2181,zk3:2181 --topic topic2
Topic:topic2  PartitionCount:1        ReplicationFactor:1     Configs:
        Topic: topic2 Partition: 0    Leader: 1       Replicas: 1     Isr: 1

Когда я подключаюсь к zk Shell, Я вижу все узлы и controller в broker:2

/opt/kafka/bin/zookeeper-shell.sh --describe --zookeeper zk1:2181,zk2:2181,zk3:2181
ls /brokers/ids
[0,1,2]

get /controller
{"version":1,"brokerid":2,"timestamp":"1531740996571"}

Даже если я попытаюсь перезапустить брокеров (только брокеров или вместе с зоопарками), темы не расширяются.

Любой совет высоко ценится!

Answer 1

Глядя на описания темы, похоже, что эти темы были созданы с коэффициентом репликации 1:

ReplicationFactor:1

имеющий default.replication.factor=2 а также min.insync.replicas=2 Установка в конфигах брокера не мешает созданию тем с коэффициентом репликации =1.

Чтобы исправить это, вы можете увеличить коэффициент репликации этих тем, используя kafka-reassign-partitions.sh инструмент.

Чтобы этого не произошло, вы можете использовать " Создать тему" и " Изменить политику конфигурации", чтобы отклонить темы с недопустимым фактором репликации.