Описание тега logstash-configuration

Вопросы с тегом
Конфигурация Logstash состоит из трех основных разделов - ввода, фильтрации и вывода. В каждом разделе есть конфигурации для каждого плагина, доступного в этом разделе.
0 ответов

Эластичный поиск logstash http ошибка конфигурации плагина ввода

Я искал во всем Интернете пример конфигурации конфигурации входного плагина http logstash и попытался выполнить то, что нашел. Все еще работает с проблемой со следующей конфигурацией: input { http { host => "127.0.0.1" post => "31311" tags =&g…
30 июн '16 в 15:29
0 ответов

{logstash.outputs.elasticsearch} Произошла неизвестная ошибка при отправке массового запроса в Elasticsearch

Я получаю эту ошибку во время запуска logstash, я не могу исправить проблему из этого журнала, после запуска configtest я получаю сообщение " ОК" на экране. [2017-09-20T11:33:29,335][ERROR][logstash.outputs.elasticsearch] An unknown error occurred s…
20 сен '17 в 06:31
1 ответ

Как user_defined в logstash с помощью kv_plugin

В конфиге logstash: ruby { init => "@kname = ['url_path','url_args']" code => " new_event = LogStash::Event.new(Hash[@kname.zip(event.get('uri').split('?'))]) new_event.remove('@timestamp') event.append(new_event) " } kv { prefix => "urlget…
11 янв '18 в 10:39
2 ответа

Как разделить большой входной файл json на другой эластичный поисковый индекс?

Вход в logstash является input { file { path => "/tmp/very-large.json" type => "json" start_position => "beginning" sincedb_path => "/dev/null" } и образец файла JSON {"type":"type1", "msg":"..."} {"type":"type2", "msg":"..."} {"type":"t…
12 авг '16 в 12:29
1 ответ

Filebeat to logstash соединение отказано

Я пытаюсь отправить лог-файлы из filebeat->logstash-> эластичного поиска. filebeat.yml. Но я получаю следующую ошибку в журнале filebeat: 2017-12-07T16:15:38+05:30 ERR Failed to connect: dial tcp [::1]:5044: connectex: No connection could be made be…
07 дек '17 в 10:51
1 ответ

Как указать расположение папки в конфигурационном файле logstash в качестве входных данных

Ниже приведен пример файла конфигурации logstash. input{ file{ path => "D:\Log\apacheTest.log" \\here i want to give path for the folder start_position => beginning } } Я попытался указать путь к папке, но он не анализирует файлы, которые доба…
27 июн '16 в 04:27
1 ответ

Как разобрать xml-файл с фильтрами logstash

Я пытаюсь проиндексировать несколько простых XML-файлов с помощью asticsearch и logstash. Пока что у меня есть настроенный ELK-стек и logstash-экспедитор. Я пытаюсь использовать документацию для настройки фильтра XML, но я просто не могу понять, как…
07 июн '15 в 12:33
1 ответ

Как мне проанализировать поле log4j %M (имя метода), используя шаблон grok?

Ниже мой сценарий: Не удалось получить идентификатор запроса "9bb0c7bcf81425fd6773", проанализированный в поле Request-ID? Пример сообщения: 05/11/2016 10:55:43.167|INFO|com.abc.requestidgenerator.Tester$.main(UniqueIDGenerator.scala:95)|9bb0c7bcf81…
12 май '16 в 11:52
1 ответ

Шаблон соответствия регулярных выражений для cc_digits в конфигурации logstash

Данные поля MSG: Starting RentalTransactionMessageProcessor cc_digits="1982" Шаблон соответствия Grok: grok { match => { "msg" => "%{GREEDYDATA:text} cc_digits= %{NUMBER:ccdigits}" } } Правило: cc_digits should be 4 digits Я проверяю с помощью…
15 июл '15 в 12:20
0 ответов

Проверка работоспособности в logstash-http-plugin без аутентификации

Я настроил мой logstash с конфигурацией ниже. Благодаря этому я могу транслировать логи из облачной среды env. Но в моем случае я хочу использовать балансировщик нагрузки поставщика для моего logstash, работающего на разных машинах. На что мне нужно…
21 ноя '17 в 18:14
0 ответов

logstash с датой массива

Я пытаюсь загрузить CSV-файл в logstash, где у меня есть поле dateaaray. мой образец CSV-файла - d1,1,2017/09/27 10:00:00,2017/09/27 10:06:00,6,"2017/09/27 10:00:00,2017/09/27 10:01:00,2017/09/27 10:02:00,2017/09/27 10:03:00,2017/09/27 10:04:00,2017…
28 сен '17 в 10:26
1 ответ

Удалить поле события и сослаться на него в Logstash

Используя Logstash, я хочу проиндексировать документы в Elasticsearch и указать тип, идентификатор и т. Д. Документа, который необходимо проиндексировать. Как я могу указать их в моей конфигурации, не оставляя ненужных полей в моих документах? Приме…
28 апр '15 в 09:53
1 ответ

Несколько входов jdbc работают одновременно или последовательно?

Мне нужно запросить несколько экземпляров базы данных, и я хотел бы знать, что определение нескольких входных плагинов jdbc только для одного конвейера - это то же самое (технически), что и определение нескольких конвейеров с 1 входом jdbc каждый? П…
17 дек '18 в 09:16
2 ответа

Перед отправкой в ​​ElasticSearch отфильтруйте конкретное сообщение с помощью logstash.

Я хотел бы знать, можно ли отправлять только определенные сообщения журнала в asticsearch через logstash? Например, допустим, у меня есть эти сообщения в моем файле журнала: 2015-08-14 12:21:03 [31946] PASS 10.249.10.70 http://google.com 2015-08-14 …
03 сен '15 в 08:09
3 ответа

Logstash SQL Server Импорт данных

input { jdbc { jdbc_driver_library => "sqljdbc4.jar" jdbc_driver_class => "com.microsoft.sqlserver.jdbc.SQLServerDriver" jdbc_connection_string => "jdbc:sqlserver://192.168.2.126\\SQLEXPRESS2014:1433;databaseName=test jdbc_password => "…
28 июл '15 в 11:10
1 ответ

Logstash Metrics Output

Я использую фильтр метрик в двух полях (backend_name) (http_request), но мой вывод не работает, я пытаюсь записать это в CSV. у кого-то есть идея, что происходит? grok { match => {"message" =>'%{HAPROXYHTTP}'} } metrics { meter => [ "%{back…
26 окт '17 в 17:01
1 ответ

Logstash Parsing JSON сообщение

У меня ниже лог-сообщение, которое мне нужно отправить в logstash { "timestamp": "2017-11-02T12:25:26+0000", "level": "INFO", "thread": "dw-28 - POST /transaction", "mdc": { "requestId": "a00460f8-b27d-4a53-bafb-f9a19fa3dedb" }, "logger": "app.util.…
06 ноя '17 в 10:15
1 ответ

Используйте переменную ruby ​​в состоянии фильтра logstash

У меня есть следующая конфигурация logstash: input { stdin { } } output { elasticsearch { hosts => ["localhost:9200"] } stdout { codec => rubydebug } } filter { ruby { code => " @@exists_pattern = ['foo', 'bar'].any?{ |pattern| event.get('m…
29 июн '17 в 08:38
0 ответов

Пользовательские шаблоны в logstash, которые прерывают компиляцию logstash

Я написал регулярное выражение для определенного формата даты в моем журнале (создал каталог./patterns и файл custom_time_pattern в нем): Формат даты: 2013-11-05T12:05:46.123456+03:00 CUSTOMTIMESTAMP ([0-9]{4,4})\-([0-9]{2,2})\-([0-9]{2,2})([A-Za-z]…
02 май '17 в 10:58
0 ответов

logstash Монго Db проблема с подключением

Я не могу отправить данные в mongo Db с помощью logstashМой конфигурационный файл выглядит так: input { file { type => "log" path => "d:\logs\*.txt" } } output { mongodb { database => "abhi1" collection => "plain" uri => "mongodb://12…
08 сен '15 в 11:31