Производитель Kafka не получил правильные метаданные из вызова API метаданных kafa после завершения работы одного узла кластера kafka
Потеря данных происходит, когда один из узлов кластера kafka отключается. Наблюдения заключаются в следующем.
Мы установили количество повторов 10 на уровне производителя, retry.backoff.ms 60000 и metadata.max.age.ms 60000. После каждой минуты производитель звонит, чтобы получить обновленные метаданные, и даже через 19-20 минут метаданные содержат лидеров из закрыть узлы. из-за этого повторные попытки исчерпаны, и мы получаем потерю данных.