Состояние TailFile постоянно увеличивает и дублирует события
В настоящее время я использую NiFi для чтения журналов BRO IDS с помощью плагина JSON Streaming. Плагин записывает вывод в формате JSON, который вращает свои файлы с 15-минутными интервалами в формате "json_streaming_type.#. Log", где текущий файл всегда "json_streaming_typex.log", а файлы вращаются по возрастанию до максимального предела (поэтому 1 становится 2 и 2 становится 3 и так далее).
Пример: json_streaming_typex.log
json_streaming_typex.1.log
json_streaming_typex.2.log
Мой процесс TailFile настроен следующим образом:
конфиг-изображение
* примечание: процессор настроен на чтение каждые 5 секунд.
Это работает некоторое время, но в конечном итоге возникают две проблемы. Во-первых, состояние постоянно увеличивается и никогда не очищается (я изначально предполагал, что это связано с тем, что максимальный возраст установлен равным 24 часам), а во-вторых, примерно через час состояние начинает содержать записи, представляющие регулярное выражение. используется для перечисления файлов для хвостов. В результате последнего происходит дублирование событий.
Я не уверен, что происходит или почему, или что я сделал неправильно. Честно говоря, я едва понимаю, как должна работать конфигурация процессора TailFile при работе с несколькими вращающимися файлами. Документация немного сбивает с толку, особенно потому, что в ней упоминается атрибут Rolling стратегии, который больше не существует.
Сегодня я переконфигурировал настройку, чтобы изменить формат имени скользящего файла на "json_streaming_typex.log.#", Чтобы он больше соответствовал предоставленным примерам, хотя это не изменило симптомы / проблемы / проблемы. Что-то сработало, вроде как настройка Частоты поиска до 1 минуты и Максимального срока действия до 10 минут, в дополнение к сокращению максимального количества вращаемых файлов с четырех до одного. Единственная оставшаяся проблема - файл состояния постоянно растет, и я не знаю, почему. Обратите внимание, что вращение также регулировалось от 15 минут до 5 минут, чтобы выровняться с меньшими интервалами.
Любая помощь в понимании того, как TailFile управляет множеством вращающихся файлов, и / или в понимании того, почему моя установка не работает должным образом, я был бы очень благодарен.
Примечание. Когда состояние превышает 500 записей и одна попытка фильтрации пользовательского интерфейса, кажется, зависает.
Спасибо
~ С уважением