Описание тега elastic-stack

Elastic Stack сочетает в себе Elasticsearch, Logstash, Kibana и Beats Framework, чтобы в режиме реального времени получать информацию о любых типах структурированных или неструктурированных данных.
0 ответов

Вставлять данные JSON без строк метаданных в ES

Есть ли способ вставить данные JSON без строк метаданных на ES или Kibana? или автоматически создавать индексные строки? Мои данные выглядят так. {"time_slot":"2013-12-31T15:00:00.000Z","line_num":"1호선","line_num_en":"Line 1","station_name":"서울역","s…
27 мар '18 в 05:42
0 ответов

Как мне зарегистрировать метки узлов с помощью плагина Jenkins Logstash?

Я использую плагин Jenkins Logstash для регистрации деталей каждой сборки (в ELK). Я хотел бы знать, какой узел произвел каждую запись в журнале. Похоже, что исходный код предполагает захват информации. Я пробовал logstashSend шаг и logstash блок но…
1 ответ

Есть ли способ использовать выражения при агрегации (используя Datatable)?

Поэтому проведите агрегацию подсчета по терминам с результатами, которые выглядят так: term1 345 term2 249 term3 117 Я хотел бы показать второй столбец, который будет представлять процент от общего количества, например: term1 345 3.45% term2 249 2.4…
21 ноя '16 в 22:21
1 ответ

Проанализировано или не проанализировано, что выбрать

Я использую только kibana для поиска ElasticSearch, и у меня есть несколько полей, которые могут принимать только несколько значений (наихудший случай, имя сервера, 30 различных значений). Я понимаю, что анализ делает с большими, более сложными поля…
30 май '16 в 19:38
1 ответ

Как указать расположение папки в конфигурационном файле logstash в качестве входных данных

Ниже приведен пример файла конфигурации logstash. input{ file{ path => "D:\Log\apacheTest.log" \\here i want to give path for the folder start_position => beginning } } Я попытался указать путь к папке, но он не анализирует файлы, которые доба…
1 ответ

Как разобрать xml-файл с фильтрами logstash

Я пытаюсь проиндексировать несколько простых XML-файлов с помощью asticsearch и logstash. Пока что у меня есть настроенный ELK-стек и logstash-экспедитор. Я пытаюсь использовать документацию для настройки фильтра XML, но я просто не могу понять, как…
1 ответ

Фильтры в Кибане

Нужно найти логи об ошибках в Кибане. Я могу добавить фильтр по содержанию сообщения, но это временное решение. Как я могу сделать этот фильтр постоянным (не только выводом)? Каков наилучший способ сделать это? Может быть, есть другие решения, а не …
24 окт '17 в 12:38
1 ответ

Логсташ ГРОК фильтр для бревен кота

Я новичок в лося, мне нужен шаблон, который может найти "транзакции следующие значения из журналов Tomcat и создать отдельное поле примеры журналов, как показано ниже... 2018-03-14 10:58:36,853 INFO so:165 - Female Value : 0.084370888769626617 for t…
2 ответа

Отправка вывода в logstash

Я очень новичок в стеке ELK, и у меня возникли некоторые трудности, когда я оборачиваюсь вокруг него. У меня есть тестовая конфигурация под /etc/logstash/conf.d/test.conf это выглядит так: input { stdin { } } output { elasticsearch { hosts => ["l…
04 авг '16 в 09:33
1 ответ

NestedQuery в BoolQuery с использованием Java API

Я пытаюсь понять, как работает запрос в EL, если честно, с множеством проблем. Вот мои документы со свойствами: {"statusError":null, "fileHash":"da8620bad21685c5e385fb1b43a7e744", "project":{"id":7687}, "error":null, "ocrFile64":"JVBERi0xL...." "isI…
25 окт '18 в 17:29
0 ответов

Разбор вложенных журналов JSON с помощью фильтра мутаций и фильтра JSON

У меня есть несколько вложенных журналов, составленных с помощью json, и я хочу проанализировать с помощью фильтра мутаций в ELK для анализа журналов и матриц в Кибане. Sample of Log like this: { "msgs": [{ "ts": "4734206Z", "tid": 4, "eid": 1, "lvl…
01 сен '17 в 11:17
1 ответ

Обрезать часть существующего значения поля до нового поля, используя безболезненно?

У меня есть поле метки времени, которое имеет значение примерно так, где почти все значения будут в одном формате: January 1st 2017, 05:29:59.000 Что мне нужно, это обрезать часть выше, которая должна выглядеть: January 1st 2017 Итак, что я хотел зн…
1 ответ

Logstash не производит вывод

Я следовал описанному здесь руководству по настройке стека ELK, и в конце концов мне удалось заставить все работать. Однако когда я попытался изменить систему для чтения в файлах CSV, она перестала работать полностью. Файл conf выглядит так: input {…
19 май '16 в 19:14
1 ответ

ElasticSearch NEST C# - как настроить шаблон числового формата с помощью аннотаций?

Есть ли способ настроить числовой формат с помощью аннотации в классе POCO или любым другим способом в C#? Обычно я должен зайти в Kibana и установить его вручную в меню "Управление"> "Шаблоны индекса"> "Формат", как показано на рисунке ниже И мне б…
10 май '18 в 02:00
0 ответов

Проверка работоспособности в logstash-http-plugin без аутентификации

Я настроил мой logstash с конфигурацией ниже. Благодаря этому я могу транслировать логи из облачной среды env. Но в моем случае я хочу использовать балансировщик нагрузки поставщика для моего logstash, работающего на разных машинах. На что мне нужно…
1 ответ

Лучший способ настроить ELK в производство

Рекомендуется ли устанавливать Elasticsearch, logstash и kiban на 3 разных серверах, при этом каждый сервер имеет 8 ГБ ОЗУ. Или настройте ELK на 1-й машине с объемом памяти более 16 ГБ. Машина должна быть в наличии. Может ли кто-нибудь предложить ил…
18 июл '17 в 06:40
0 ответов

Объедините www и non-www в Кибане

Я установил стек ELK в AWS Elasticsearch. Я принимаю логи Apache в ELK, одно из полей apache - vhost. В поле vhost у него будут www.domain.com и domain.com, я хотел бы объединить их, чтобы настроить точный поиск и визуализировать данные по vhost. В …
0 ответов

Не конвертировать поле в конфигурационном файле logstash

У меня типичная проблема с ELK, когда я хочу иметь карту в моей Kibana 4.0 Я создаю следующий индекс: curl -XPUT http://localhost:9200/igual -d ' { "mappings": { "igual": { "properties": { "localizacion": {"type": "geo_point"}, "amount": {"type": "f…
04 дек '15 в 11:42
1 ответ

Как отправить журналы Apache из одного контейнера в журнал в другом контейнере?

Последние три дня я пытался собрать все журналы из контейнеров, которые есть в моем Docker, и отправить их в Logstash. Я работал со стеком ELK (Elasticsearch, Logstash и Kibana), и я использую Logspout в качестве маршрутизатора для этих журналов. Вс…
25 авг '17 в 08:45
0 ответов

ElasticSearch - требуется больше времени (8 часов) для индексации 23 ГБ PDF (20 000 документов) с использованием Java API

Индексирую PDF используя Java API. Я установил ingest-attachement processor plugin и из моего кода Java я конвертирую PDF в base64 и индексирую закодированный формат PDF. На самом деле, файлы PDF доступны на моей машине d: \ drive. Путь к файлу дост…
20 июл '18 в 12:21