Kafka High-level Consumer error_code=15
При попытке использовать Kafka с помощью потребителя высокого уровня (с использованием совершенно новой группы потребителей) потребитель никогда не запускается. Когда я переключаю уровень ведения журнала на отладку, я вижу следующие две строки, повторяющиеся снова и снова:
DEBUG [AbstractCoordinator] 09:43:51.192: Sending coordinator request for group CompletelyNewConsumerGroupThatIneverUsedBefore to broker 172.30.3.61:30000 (id: 1043 rack: null)
DEBUG [AbstractCoordinator] 09:43:51.306: Received group coordinator response ClientResponse(receivedTimeMs=1487666631306, disconnected=false, request=ClientRequest(expectResponse=true, callback=org.apache.kafka.clients.consumer.internals.ConsumerNetworkClient$RequestFutureCompletionHandler@58f68932, request=RequestSend(header={api_key=10,api_version=0,correlation_id=197,client_id=consumer-1}, body={group_id=CompletelyNewConsumerGroupThatIneverUsedBefore}), createdTimeMs=1487666631192, sendTimeMs=1487666631192), responseBody={error_code=15,coordinator={node_id=-1,host=,port=-1}})
Все 6 узлов кластера правильно используют данные. Даже старый потребитель низкого уровня работает. Также в Zookeeper есть только 6 узлов, которые должны быть там, и их файлы журналов выглядят нормально.
Из поиска в Google я обнаружил, что error_code=15 означает, что координатор группы недоступен. Я предполагаю, что это означает координатор группы потребителей. Это проблема обратного вызова? Почему потребитель высокого уровня не работает?
1 ответ
Как оказалось, все разделы темы __consumer_offsets были расположены на мертвых узлах (узлах, которые я отключил и которые никогда не вернутся). Я решил проблему, выключив кластер, удалив тему __consumer_offsets из Zookeeper, а затем снова запустив кластер.