При использовании Kafka High Level ConsumerConnector, где будут сохраняться смещения?

Question

При использовании Kafka High Level ConsumerConnector, где будут сохраняться смещения?

Как следует из нового документа, сама Kafka позаботится об управлении смещениями при использовании API высокого уровня по умолчанию. Но когда я создаю ConsumerConnector, как показано ниже, он все равно требует от меня предоставления свойства zookeeper.connect.

_consumerConnector = Consumer.createJavaConsumerConnector(consumerConfig);

Правда ли, что в этом случае все еще зоокейпер управляет зачетом? Спасибо!

0

apache-kafka kafka-consumer-api apache-kafka-connect kafka-producer-api

Источник

user1982524 12 окт '16 в 21:03

2 ответа

Другие вопросы по тегам apache-kafka kafka-consumer-api apache-kafka-connect kafka-producer-api

user4953079 13 окт '16 в 09:42 2016-10-13 09:42 · Answer 1 · 2016-10-13 09:42

По Кафке 0.9 смещения хранятся в специальной теме __consumer_offsets, Тем не мение, KafkaConsumer все еще зависит от ZK (по другим причинам). В будущих выпусках зависимость от ZK будет полностью удалена.

1

Источник

user4953079 13 окт '16 в 09:42

user2796894 13 окт '16 в 02:04 2016-10-13 02:04 · Answer 2 · 2016-10-13 02:04

Похоже, это все еще старый потребительский API высокого уровня. Вы по-прежнему можете управлять смещениями со старым потребителем Scala в Kafka, но для этого требуется, чтобы offsets.storage был установлен в Kafka, и вам все равно понадобится zookeeper.

"Новый" пользовательский API-интерфейс является Java-API и действительно использует Kafka для офсетного хранения и не требует настройки соединения zookeeper. Этот API задокументирован здесь.