Описание тега logstash-grok
Grok - это абстракция поверх регулярных выражений, позволяющая легко преобразовывать неструктурированный текст в структурированную и запрашиваемую форму.
1
ответ
Преобразуйте строку журнала в поля, разделенные запятыми, используя logstash
Я совершенно новичок в Logstash. Может кто-нибудь сказать мне фильтр для добавления в файл конфигурации, чтобы отделить следующую строку журнала с помощью Logstash? "2011/08/10 09: 47: 23.449598,0.001199, udp, 203.136.22.37,15306, <->, 147.32.84.229…
15 фев '16 в 08:11
1
ответ
Как мне проанализировать поле log4j %M (имя метода), используя шаблон grok?
Ниже мой сценарий: Не удалось получить идентификатор запроса "9bb0c7bcf81425fd6773", проанализированный в поле Request-ID? Пример сообщения: 05/11/2016 10:55:43.167|INFO|com.abc.requestidgenerator.Tester$.main(UniqueIDGenerator.scala:95)|9bb0c7bcf81…
12 май '16 в 11:52
1
ответ
Логсташ ГРОК фильтр для бревен кота
Я новичок в лося, мне нужен шаблон, который может найти "транзакции следующие значения из журналов Tomcat и создать отдельное поле примеры журналов, как показано ниже... 2018-03-14 10:58:36,853 INFO so:165 - Female Value : 0.084370888769626617 for t…
16 мар '18 в 09:16
2
ответа
Отметка времени не получает мое значение журнала, используя фильтр даты logstash?
У меня есть следующий конфиг для извлечения вызова Http и даты журнала во время вызова, но @timestamp показывает, когда журнал был отправлен с сервера FileBeat на logstash один. input { beats { port => 5044 } } filter { if [message] !~ /Calling S…
28 апр '17 в 10:01
2
ответа
Грок проваливается в скобках
Я получаю постоянный провал в скобках. Я избежал скобки со знаком "\". Я также пытался обмануть это с помощью подстановочных знаков. Отладчик Grok анализирует правильно, но не может выполнить анализ в производственной среде. У меня есть две другие з…
15 янв '17 в 19:49
1
ответ
Ошибка разбора даты с фильтром grok в logstash
Мне нужно разобрать дату и время в журнале, чтобы показать в @timestamp поле. Я могу разобрать метку времени, но не дату. Входной журнал: "2010-08-18","00:01:55","text" Мой фильтр: grok { match => { "message" => '"(%{DATE})","(%{TIME})","(%{GR…
03 апр '17 в 02:25
1
ответ
Шаблон соответствия регулярных выражений для cc_digits в конфигурации logstash
Данные поля MSG: Starting RentalTransactionMessageProcessor cc_digits="1982" Шаблон соответствия Grok: grok { match => { "msg" => "%{GREEDYDATA:text} cc_digits= %{NUMBER:ccdigits}" } } Правило: cc_digits should be 4 digits Я проверяю с помощью…
15 июл '15 в 12:20
0
ответов
Шаблон Grok для доменного имени в списке
Я пытался написать собственный шаблон Grok для доменного имени. Но не мог создать это. Кто-нибудь, помогите мне в этом. формат данных: ["test1.example.com", "test2.example.com", "test3.example.com", "new1.example.com", "new2.example.com", "new3.exam…
30 июн '15 в 14:46
1
ответ
Как удалить дату из события LogStash
У меня есть следующее сообщение в моем файле журнала... 2015-05-08 12:00:00,648064070: INFO : [pool-4-thread-1] com.jobs.AutomatedJob: Found 0 suggested order events Это то, что я вижу в Logstash/Kibana (с выбранными датой и сообщением)... May 8th 2…
08 май '15 в 11:29
1
ответ
Необходимо сократить Grok Pattern
Я использую шаблон Grok для анализа журналов брандмауэра, и шаблон Grok работает при использовании Grok Debugger. Изменяются данные журнала, и я создал шаблоны, соответствующие каждому изменению. Моя проблема в том, что ELK создает несколько повторя…
15 ноя '17 в 18:10
0
ответов
Logstash, используя регулярное выражение Grok для анализа строки
Я использую Grok Debugger для анализа формата моего файла журнала. Вход в файл выглядит следующим образом 2018-03-28 13:23:01 chargeFinnished:{"oldbalance":5000,"managefee":0,"afterbalance":5001,"cardid":"123456789","txamt":1} Моя цель состоит в том…
11 апр '18 в 03:01
2
ответа
Перед отправкой в ElasticSearch отфильтруйте конкретное сообщение с помощью logstash.
Я хотел бы знать, можно ли отправлять только определенные сообщения журнала в asticsearch через logstash? Например, допустим, у меня есть эти сообщения в моем файле журнала: 2015-08-14 12:21:03 [31946] PASS 10.249.10.70 http://google.com 2015-08-14 …
03 сен '15 в 08:09
2
ответа
Grok Parse Failure в пользовательском формате журнала и регулярное выражение в logstash
У меня есть собственный формат журнала, я новичок в этом, поэтому пытаюсь выяснить, как он работает. Это не анализируется в logstash . Может кто-то помочь определить проблему. Логформат выглядит следующим образом {u'key_id': u'1sdfasdfvaa/sd456dfdff…
16 янв '16 в 04:02
1
ответ
Подбирайте двойные кавычки и получайте содержимое используя grok
У меня есть журнал с моего сервера в следующем формате, я начал вставлять журналы на мой сервер ELK и застрял в соответствии шаблону журнала. 2018-04-20T21:51:13.677291071-0400 level=7 [Common] [Common] [ID=22] [0001232700011fde] [00943 01248] [Thre…
09 май '18 в 13:30
0
ответов
Многострочная агрегация logstash?
Я смотрю на получение журнала из почтовой системы, где каждая транзакция состоит из нескольких строк.Каждая строка будет иметь различные части транзакции, и они могут быть переплетены с другими сообщениями транзакции, так что могут быть задействован…
28 окт '16 в 02:13
1
ответ
Запись шаблона Грока для разделения пар ключ-значение
Это мой первый опыт использования grok и asticsearch. Я пытаюсь написать файл grok, чтобы разобрать следующую строку. 2017-07-25 10:48:23,477 [[api-my-app-v1-20.0.0].apiHttpListenerConfig.worker.58] INFO esb.api-my-app-v1.get-blah.http.response - tr…
25 июл '17 в 05:06
0
ответов
Получение веб-журналов, преобразованных в формат CEF в Кибане
У меня есть журналы приложений в указанном ниже формате, который я индексирую в asticsearch. Теперь я хочу получить эти журналы в кибане в формате CEF. Есть ли способ конвертировать эти журналы в формат CEF в кибане, используя фильтр logstash? Актуа…
23 мар '17 в 09:29
0
ответов
Пользовательские шаблоны в logstash, которые прерывают компиляцию logstash
Я написал регулярное выражение для определенного формата даты в моем журнале (создал каталог./patterns и файл custom_time_pattern в нем): Формат даты: 2013-11-05T12:05:46.123456+03:00 CUSTOMTIMESTAMP ([0-9]{4,4})\-([0-9]{2,2})\-([0-9]{2,2})([A-Za-z]…
02 май '17 в 10:58
1
ответ
Каким будет шаблон Grok для следующих журналов сервера IIS?
У меня есть следующие журналы сервера IIS:- 2018-09-16 06:19:25 W3SVC10 webserver 107.6.166.194 GET /axestrack/homepagedata/ uname=satish5633&pwd=5633&panelid=1 80 - 117.225.237.56 HTTP/1.1 Dalvik/2.1.0+(Linux;+U;+Android+6.0.1;+vivo+1606+Bu…
17 сен '18 в 12:49
0
ответов
Можно ли объединить 2 строки журналов из 2 отдельных файлов журналов, используя Logstash
У меня есть 2 отдельных IIS файлы журналов (расширенные и простые) К ним нужно присоединиться, потому что в расширенном журнале отсутствует информация, записанная простым, но у них та же временная метка. input { file { path => "C:/Logs/*.log" sta…
27 янв '17 в 16:20