Потеря сообщений при использовании Kafa Rest и Python
У меня есть приложение Python, которое запускает функцию, основанную на выражении cron. Функция должна получать сообщения из кластера Kafka по определенной теме, используя компонент Kafka Rest, обрабатывать само сообщение и возвращать. Я ожидал, что при каждом вызове функции будут использоваться все сообщения, созданные в прошлый раз, когда она была вызвана, но иногда некоторые сообщения отсутствовали. Иногда все работает.
Я настроил потребителя, используя документ doc из проекта rest kafka, установив auto.offset.reset как можно раньше. Создание и подписка потребителя происходит при запуске приложения и не более, при этом оно продолжает извлекать новые записи каждый раз, когда функция вызывается выражением CRON.
Идеи?
FB