Apache Kafka: уменьшите использование диска kafka

Question

У меня вопрос по поводу диска Кафки. Кафка потерпит неудачу, когда его диск заполнится. Поэтому я хочу уменьшить использование диска до менее чем x%, отбрасывая старые данные, хранящиеся на диске Kafka (или отбрасывая копию данных), когда использование диска Kafka достигает x%. Нужно ли изменять исходный код Kafka для этого?

Answer 1

Вы можете настроить retention.bytes для ваших тем.

Эта конфигурация контролирует максимальный размер раздела (который состоит из сегментов журнала), до того, как мы отбросим старые сегменты журнала, чтобы освободить место, если мы используем политику хранения "удалить". По умолчанию нет ограничения по размеру, только ограничение по времени. Поскольку это ограничение применяется на уровне разделов, умножьте его на количество разделов, чтобы вычислить сохранение темы в байтах.

См. https://kafka.apache.org/documentation/.