Описание тега logstash
Logstash is a tool for managing events and logs. You can use it to collect logs, parse them and send them to storage for later use (such as searching).
1
ответ
Объединение нескольких полей сообщения с использованием многострочного кодека в logstash?
Я использую logstash 2.4.0 My output is like this: { "@timestamp" => "2017-05-10T18:14:47.269Z", "message" => "[2017-01-14 10:59:58,591][WARN ][index.search.slowlog.query] [yaswanth] [bank][3] took[50ms], took_millis[50], types[details], stats…
10 май '17 в 15:46
1
ответ
Как я могу использовать несколько фильтров XML для одного сообщения XML
Мне нужно проанализировать XML-документ (полученный как сообщение rabbitmq), но я хочу получить больше информации по некоторым фильтрам. Здесь XML часть моего logstash if ([message] =~ /^</) { xml { ... xpath => [ "/APIOS_MOM_EVENT/IDENT/NO_EM…
27 янв '16 в 08:43
1
ответ
Использование Logstash для удаления индекса из ES
Я хочу удалить индекс из ES перед загрузкой обновленной версии данных из MySQL, На сегодняшний день я использую curl для удаления данных и Logstash для загрузки, однако мне было интересно, есть ли способ, где мне не нужно делать это вручную, лучше в…
09 июл '18 в 13:14
2
ответа
Отправить журналы Tomcat в Logstash
Я пытаюсь реализовать централизованный сервер журналов с использованием стека ELK: Elasticsearch, Logstash, Kibana. Он будет получать журналы от многих приложений. В основном у меня есть приложение Tomcat, которое использует logback со следующей кон…
14 апр '15 в 14:37
1
ответ
Есть ли необходимость в ELK-стеке или графите при использовании Appdynamics?
Мы находимся в процессе создания новой серверной инфраструктуры и будем использовать Appdynamics для аналитики Java-приложений. У Appdynamics есть много функций, поэтому кажется, что метрики сервера через collectd для Graphite больше не будут нужны.…
16 сен '16 в 21:53
0
ответов
Эластичный поиск logstash http ошибка конфигурации плагина ввода
Я искал во всем Интернете пример конфигурации конфигурации входного плагина http logstash и попытался выполнить то, что нашел. Все еще работает с проблемой со следующей конфигурацией: input { http { host => "127.0.0.1" post => "31311" tags =&g…
30 июн '16 в 15:29
0
ответов
{logstash.outputs.elasticsearch} Произошла неизвестная ошибка при отправке массового запроса в Elasticsearch
Я получаю эту ошибку во время запуска logstash, я не могу исправить проблему из этого журнала, после запуска configtest я получаю сообщение " ОК" на экране. [2017-09-20T11:33:29,335][ERROR][logstash.outputs.elasticsearch] An unknown error occurred s…
20 сен '17 в 06:31
2
ответа
Запустите logstash по требованию
Можно ли запускать logstash по требованию вместо потоковых файлов? У меня есть набор файлов, помещенных в папку, но я бы хотел выдвинуть только несколько из них по необходимости в эластичный поиск. Это возможно даже с logstash? У меня есть возможнос…
06 май '16 в 04:53
1
ответ
Как user_defined в logstash с помощью kv_plugin
В конфиге logstash: ruby { init => "@kname = ['url_path','url_args']" code => " new_event = LogStash::Event.new(Hash[@kname.zip(event.get('uri').split('?'))]) new_event.remove('@timestamp') event.append(new_event) " } kv { prefix => "urlget…
11 янв '18 в 10:39
1
ответ
Где мое поле _rev в индексе эластичного поиска от couchdb
Как я могу сохранить поле _rev из моих документов couchdb в индексах эластичного поиска. Я использую logstash для добавления данных в ES из couchdb. В моем файле logstash.config у меня есть только разделы ввода и вывода. Вот раздел ввода: couchdb_ch…
21 мар '16 в 17:30
2
ответа
Как разделить большой входной файл json на другой эластичный поисковый индекс?
Вход в logstash является input { file { path => "/tmp/very-large.json" type => "json" start_position => "beginning" sincedb_path => "/dev/null" } и образец файла JSON {"type":"type1", "msg":"..."} {"type":"type2", "msg":"..."} {"type":"t…
12 авг '16 в 12:29
1
ответ
Logstash - как я могу разделить массив, используя фильтр разделения без цели?
Я пытаюсь разбить массив JSON на несколько событий. Вот пример ввода: {"results" : [{"id": "a1", "name": "hello"}, {"id": "a2", "name": "logstash"}]} Вот мой фильтр и выходной конфиг: filter { split { field => "results" } } stdout { codec => "…
31 май '15 в 14:26
1
ответ
Logstash - JDBC - ошибка конфигурации MYSQL
После просмотра этого урока; https://www.youtube.com/watch?v=ZnI_rlrei1s Я пытаюсь получить мой localhost mysql (используя laravel valet mysql), используя logstash с jdbc для отправки на сервер asticsearch. Это мой конфиг: # file: db.conf input { jd…
22 авг '16 в 07:47
3
ответа
Как легко изменить поле с анализируемого на non_analyzed
У меня есть поле имени хоста, которое приходит через filebeat, чтобы мой экземпляр logstash был передан в ElasticSearch, где он обрабатывается как анализируемое поле. Это вызывает проблемы, потому что само поле нужно сообщать в его совокупности. При…
26 окт '16 в 20:11
1
ответ
Нужен файл logstash-conf для извлечения количества разных строк в файле журнала
Как написать файл конфигурации logstash, чтобы отделить две разные (S:Info & S:Warn) строки от файла журнала и отобразить соответствующий счетчик в Kibana? Пробовал использовать фильтр grep в logstash, но не уверен, что получу счетчик двух разных ст…
07 май '15 в 22:28
1
ответ
Создание объектов json из журналов с помощью ELK Stack
У меня есть несколько журналов, созданных мостом между Центром качества (HP Alm) и Дженкинсом: Примерно так: Building in workspace D:\Tools\Jenkins\workspace\*******-JenkinsWithQC [Dani-JenkinsWithQC] $ D:\Tools\Jenkins\workspace\*******-JenkinsWith…
17 мар '17 в 18:46
0
ответов
Как мне зарегистрировать метки узлов с помощью плагина Jenkins Logstash?
Я использую плагин Jenkins Logstash для регистрации деталей каждой сборки (в ELK). Я хотел бы знать, какой узел произвел каждую запись в журнале. Похоже, что исходный код предполагает захват информации. Я пробовал logstashSend шаг и logstash блок но…
21 мар '18 в 19:27
1
ответ
Filebeat to logstash соединение отказано
Я пытаюсь отправить лог-файлы из filebeat->logstash-> эластичного поиска. filebeat.yml. Но я получаю следующую ошибку в журнале filebeat: 2017-12-07T16:15:38+05:30 ERR Failed to connect: dial tcp [::1]:5044: connectex: No connection could be made be…
07 дек '17 в 10:51
2
ответа
Условный вывод Logstash с использованием переменной среды не работает
Я использую Logstash для отправки данных журнала в Elasticsearch (конечно), но некоторые из моих конечных пользователей также хотят, чтобы данные отправлялись во вторичный CSV-файл, чтобы они могли выполнять свою собственную обработку. Я пытаюсь исп…
20 мар '17 в 20:15
1
ответ
Проанализировано или не проанализировано, что выбрать
Я использую только kibana для поиска ElasticSearch, и у меня есть несколько полей, которые могут принимать только несколько значений (наихудший случай, имя сервера, 30 различных значений). Я понимаю, что анализ делает с большими, более сложными поля…
30 май '16 в 19:38