Как настроить filebeat для обработки ротации журналов?

Question

Мои настройки

У меня есть докер кластер в котором supervisord пишет логи output.log на общем томе, из которого Filebeat читает и отправляет журналы в ES. Для предотвращения проблем с переполнением диска я настроил supervisord чтобы повернуть журналы, и я беспокоюсь, что Filebeat может пропустить журналы или отправить журналы дважды.

Моя проблема

Я хотел бы, чтобы Filebeat использовал логи, записанные в output.logбез дублирования или пропущенных строк журнала.

Мой вопрос

Как мне настроить Filebeat для обработки supervisord ротация логов?

Answer 1

Похоже на supervisord ротация работает с filebeat из коробки.

Например, в program раздел supervisord.conf, следующая конфигурация повернула журналы, и filebeat не пропустил ни одной строки.

stdout_logfile_maxbytes=1024
stdout_logfile_backups=5
stderr_logfile_maxbytes=1024
stderr_logfile_backups=5

Стоит отметить, что в реальной производственной системе я использовал бы большие значения (в десятках или сотнях МБ), чтобы Filebeat не пропускал файлы, когда все файлы вращаются в течение интервала ожидания.