Описание тега logstash-file
События потока ввода файла Logstash из файлов
1
ответ
Как распечатать логи выполнения logstash
Я пытался найти это в Интернете, но не смог получить никакого лидерства. Есть ли способ, которым мы можем напечатать вывод выполнения logstash в файл журнала? Например, я использую плагин JDBC для чтения данных в соответствии с sql_last_start. Я хоч…
19 окт '15 в 22:01
1
ответ
Как получить часть имени пути и добавить его в индекс
В настоящее время у меня есть имя файла, как это. [SERIALNUMBER][2014_12_04][00_45_22][141204T014214]AB_DEF.log я в основном хочу извлечь год из файла (2014) и добавить его к имени индекса в файле conf logstash.logstash.confНиже мой файл конф. input…
16 апр '16 в 01:02
0
ответов
Входной плагин для возврата содержимого каталога с расширением ".xyz"
Мне нужно только вернуть имена файлов из определенного каталога, как только файл будет создан. я попытался использовать "exec" входной плагин для этого. Для достижения этого я написал сценарий оболочки, как показано ниже: (cd /home/development/DEMO/…
18 апр '18 в 10:34
1
ответ
Как уменьшить использование памяти Logstash
Я использую Logstash-5.6.5 (в Windows), работающий в автономной системе (без облака или кластера). Планирование просмотреть некоторые файлы журнала и опубликовать его для локального запуска asticsearch. Но когда проверено использование памяти Logsta…
02 фев '18 в 06:07
1
ответ
Максимальная длина строки поддерживается logstash?
Какова максимальная длина символа, которую logstash может читать как одно событие из файла (однострочный ввод, НЕ многострочный ввод)? Также принимает ли logstash определенное количество пробелов / табуляций между строкой как символ новой строки?
08 июл '15 в 17:11
0
ответов
Logstash- файл ввода добавляет экранирование
Я хотел бы отключить экранирование при получении событий из файла. Например, вот событие (входные данные - это файл):a = \ "hello \" b = \ "world \" Это вывод:a = \\ "hello \\" b = \\ "world \\ "\р" При использовании других входов, таких как tcp, ud…
01 ноя '18 в 09:26
1
ответ
Чтение файла журнала по заданному пути с использованием logstash
input { file { path => ["D:/logstash-2.3.4/temp/logs/localhost_access_log.2016-08-24.log"] start_position => "beginning" } } filter { date { match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ] } } output { stdout { codec => rubydebug } }…
01 сен '16 в 07:42
0
ответов
Как заставить logstash публиковать с определенного номера строки во входном файле
Я использую logstash публиковать события файла журнала, журналы которого постоянно добавляются. Но мне нужно logstash публиковать события с определенного номера строки и далее (скажем, начиная с 100-й строки). Как мне этого добиться? Заранее спасибо.
04 дек '17 в 10:51
0
ответов
Ввод файла logstash в режиме чтения для файла gzip занимает очень много памяти
В настоящее время я обрабатываю gzip файлы в logstash, используя плагин для ввода файлов. он потребляет очень большую память и продолжает перезагружаться даже после получения большого размера кучи. На данный момент в среднем мы обрабатываем 50 файло…
28 дек '18 в 13:45
0
ответов
Проблема дескриптора файла журнала openstf для Linux
До недавнего времени я сталкивался с очень своеобразным предупреждением о logstash журнальный файл [filewatch.tailmode.handlers.createinitial] open_file OPEN_WARN_INTERVAL is '300'Я искал в Интернете любую возможную помощь, чтобы выкопать его сам, н…
18 фев '19 в 12:49
0
ответов
Как добавить тег, когда сообщения многострочные в Logstash
Я использую Filebeat6x для отправки своих журналов в logstash. Некоторые из моих журналов могут быть многострочными, поэтому я использую Filebeat для управления многострочными сообщениями Теперь я хочу добавить фильтр в logstash, чтобы сделать что-т…
21 фев '19 в 19:51
0
ответов
Как отправить несколько файлов журнала в Kibana через logstash динамически, используя C#?
Я хочу динамически отправлять в Kibana несколько файлов, имеющих разный формат, используя Logstash, например, несколько CSV-файлов или файлов журналов. Как я могу сделать это с помощью C#?
28 фев '19 в 08:00
1
ответ
Как создать несколько индексов на основе проводимости в logstash
Попытка создать несколько индексов для asticsearch в logstash. Но мое "если проводимость" не создает какого-либо отдельного индекса, без проводимости он работает нормально. Но если я использую ввод как файл и в logstash без filebeat, то он работает …
13 янв '19 в 05:27
0
ответов
Logstash отправляет журнал дважды. Повторяющиеся логи Проблема
Я анализирую журналы файла моего сервера и отправляю в API только журналы с информацией, предупреждениями и уровнями ошибок, но проблема в том, что я получаю журнал два раза. В выводе я сопоставляю проанализированные значения логов с моими полями JS…
11 авг '17 в 08:19
1
ответ
Как мне разобрать файл tmx (файл xml для данных перевода) в logstash
Я использую файлы TMX (XML-файл для данных перевода) в качестве источника в Logstash для индексации данных в Elasticsearch. Пример файла TMX выглядит следующим образом, <?xml version="1.0" encoding="UTF-8"?> <tmx version="1.4"> <heade…
25 авг '17 в 13:07
0
ответов
Logstash предотвращает вращение логов приложения
У меня есть приложение, запущенное в бродячей виртуальной машине, и файлы журналов передаются на хост-компьютер с использованием синхронизированной папки. Я пытаюсь добавить эти журналы в logstash из каталога хоста на другую виртуальную машину, на к…
08 ноя '18 в 05:14
1
ответ
Использование оператора FOR с Logstash
Могу ли я использовать для выписки с Logstash? И если да, то как? Я знаю, что мы можем использовать оператор IF, и я успешно его использую
08 ноя '15 в 11:48
1
ответ
Добавить данные в динамический вложенный хэш в logstash
Я хочу поместить значение в часть вложенного хэша, но назовите эту часть в зависимости от восходящих фильтров. Это необходимо для рефакторинга и уменьшения общего размера кода, поскольку в настоящее время каждый из 20+ типов входящих событий имеет с…
07 авг '15 в 00:20
1
ответ
Логсташ Файл плагин пользовательский разделитель
Я использую logstash довольно долго. Я попытался использовать пользовательский разделитель в плагине файла. Я читаю статический файл. Я вижу, что файловый плагин извлекает данные 32 КБ и передает их токенизатору для разделения по разделителю. data =…
06 май '16 в 01:12
1
ответ
Как отобразить вложенный JSON в Log-stash HTTP Output
Я использую Logstash для вывода сообщения JSON в API. Я использую атрибут "mapping" для сопоставления моего сообщения. Смотрите следующий фрагмент моей конфигурации грузоотправителя. output { stdout { } http { url => "http://localhost:8087/messag…
02 июн '16 в 06:44