Конфигурация ELK для моего приложения ведет к упругому поиску, используя хранилище журналов

Question

Я новичок в конфигурации ELK.

https://www.digitalocean.com/community/tutorials/how-to-install-elasticsearch-logstash-and-kibana-elastic-stack-on-ubuntu-16-04

Я настроил на моей локальной машине, и она работает нормально. Я хочу переслать файл журналов своего приложения для упругого поиска, используя log-stash файловых сокращений. Когда у меня все настройки работают нормально для системных журналов. но я не могу сохранить журнал приложений для упругого поиска. Пожалуйста, помогите мне.

Это мой файл журнала:

service.log

{"name":"service name", "hostname":"abc", "pid":4474, "userId":"123", "school_id":"123", "role":"student", "username":"mahi123", "serviceName":"loginService", "level":40, "msg":"successFully fetch trail log", "time":"2019-06-01T10:55:46.482Z","v":0}

Answer 1

Некоторые действия по устранению неполадок, о которых необходимо позаботиться, когда журналы не достигают Elastisearch:

1. Проверьте свой файл конфигурации анализа журнала (обычно сделанный с расширением .conf). Убедитесь, что он имеет правильный путь для сканирования журналов, правильный набор фильтров и т. Д. Чтобы увидеть, действительно ли работает этот файл.conf, можно попробовать:

logstash -f <elasticsearch.conf file path> Если это не приводит к ошибке на консоли, это означает, что вы хороши на этом этапе и вам придется перейти к следующему шагу.

2. Проверьте, создаются ли индексы Кибаны. Бегать curl http://<hostipaddress or localhost>:9200/_cat/indices?v,

Если да, перейдите в Kibana Management и создайте шаблоны индексов.

Если нет, проверьте, достаточно ли в вашей системе доступной памяти для обслуживания logstash и elastisearch. free -m будет полезно, как только вы запустите службы logstash и asticsearch. Много раз я видел людей, пробующих установку ELK на машине, на которой недостаточно оперативной памяти (4 ГБ звучит хорошо для автономной установки).

3. Проверьте, работают ли ваши logstash и Elasticsearch. Если Elasticsearch выходит из строя или перезапускается во время анализа журнала или создания индексов, это, скорее всего, связано с нехваткой системных ресурсов.

    -bash-4.2# systemctl status elasticsearch
    �� elasticsearch.service - Elasticsearch
       Loaded: loaded (/usr/lib/systemd/system/elasticsearch.service; enabled; vendor preset: disabled)
       Active: active (running) since Wed 2019-06-05 14:08:26 UTC; 1 weeks 0 days ago
         Docs: http://www.elastic.co
     Main PID: 1396 (java)
       CGroup: /system.slice/elasticsearch.service
               ������1396 /bin/java -Xms1g -Xmx1g -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMS...

    Jun 05 14:08:26 cue-bldsvr4 systemd[1]: Started Elasticsearch.
    Jun 05 14:08:26 cue-bldsvr4 systemd[1]: Starting Elasticsearch...
    -bash-4.2# systemctl status logstash     
    �� logstash.service - logstash
       Loaded: loaded (/etc/systemd/system/logstash.service; enabled; vendor preset: disabled)
       Active: active (running) since Wed 2019-06-05 14:50:52 UTC; 1 weeks 0 days ago
     Main PID: 4320 (java)
       CGroup: /system.slice/logstash.service
               ������4320 /bin/java -Xms256m -Xmx1g -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFrac...

    Jun 05 14:50:52 cue-bldsvr4 systemd[1]: Started logstash.
    Jun 05 14:50:52 cue-bldsvr4 systemd[1]: Starting logstash...
    Jun 05 14:51:08 cue-bldsvr4 logstash[4320]: Sending Logstash's logs to /var/log/logstash which is now configur...rties
    Hint: Some lines were ellipsized, use -l to show in full.
    -bash-4.2#