Kafka Consumer перечитывает сообщения

Question

Я видел проблему, когда все мои сообщения в моей теме перечитываются моим потребителем. У меня только 1 потребитель, и я включаю / выключаю его во время разработки / тестирования. Я замечаю, что иногда после нескольких дней, когда потребитель не запускается, когда я снова включаю его, он перечитывает все мои сообщения.

Clientid и groupid остаются неизменными. Я явно вызываю commitSync, так как мой enable.auto.commit = false. Я устанавливаю auto.offset.reset = самое раннее, но, насколько я понимаю, это должно сработать, только если смещение удалено на сервере. Я использую службу MessageHub IBM Bluemix, так что, может быть, это автоматически удаляет смещение?

У кого-нибудь есть какие-нибудь подсказки / идеи?

Благодарю.

Answer 1

Да, смещения автоматически удаляются, если вы не фиксируете в течение 24 часов. Это настройка по умолчанию для Kafka, и мы не меняли ее.