Использование Logstash на tarfile для создания конвейеров Elasticsearch
Я периодически получаю сжатые tar-файлы, содержащие различные типы журналов, которые я хочу загрузить в Elasticsearch. Подходит ли Logstash для этого варианта использования? Проблема, с которой я, похоже, сталкиваюсь, заключается в том, что даже если я могу извлечь содержимое файла tarf, Logstash требует от меня указать абсолютные пути к файлам, тогда как пути к моим файлам будут отличаться для каждого файла, который я хочу загрузить.
1 ответ
Плагин ввода файлов для Logstash обычно используется для "активных" файлов журналов для чтения и индексации данных в режиме реального времени.
Если лог-файлы, которые вы собираетесь обрабатывать, завершены, вам вообще не нужно использовать плагин ввода файлов, достаточно использовать плагин ввода stdin и передать содержимое файла процессу Logstash.