Как узнать распределение раздела кафки
Я использую kafka 0.9.0 с pykafka в качестве очереди URL в scrapy, и у темы, которую я использовал, было 30 разделов с 4 потребителями.
Сначала он работает правильно, но когда он работал около двух часов, у кафки, похоже, возникла проблема с перебалансировкой разделов, и я получил некоторые данные, такие как
Невозможно получить раздел
. Повторная
чем поднять два исключения
pykafka.exceptions.ConsumerStoppedException
pykafka.exceptions.PartitionOwnedError
Поэтому я хочу знать, как распределить раздел кафки. я использую kafka-consumer-groups.sh как
./kafka-consumer-groups.sh --zookeeper host: port - имя группы --describe
которые упоминаются в документе Кафки, но я получил пустой список.