Свободно и Кибана
Конфигурация Fluentd на стороне клиента
хвостовой тег типа underutilized.log путь /var/log/utilization/monthly_summary.log формат /^,HOST,(?[^,]+),DATE,(?[^,]+),STREAK,(?[^,]+),CPU_DAY_UTIL,(?[^,]+)$/ Pos_file /var/spool/fluentd/underutilized.log.position.txt
тип копия
введите путь к файлу /var/log/fluentd/underutilized.log сжимать gzip
введите forward buffer_path /var/spool/fluentd/underutilized.*.buffer file_type file flush_interval 30 с send_timeout 30 с
heartbeat_type tcp
heartbeat_interval 10m
<server>
name dstsrvr01
host dstsrvr01.abc.com
port 24224
</server>
[user1@srvr05 ~]$ tail -3 /var/log/utilization/monthly_summary.log,HOST,srvr05,DATE,2018-10-10,STREAK,123,CPU_DAY_UTIL,0%,HOST,srvr05,DATE,2018-10-11,STREAK,124,CPU_DAY_UTIL,0%,HOST,srvr05,DATE,2018-10-12,STREAK,125,CPU_DAY_UTIL,0%
Конечный сервер dstsrvr01 Конфигурация Kibana
в /etc/td-agent/td-agent.conf
тип эластичного поиска logstash_format true flush_interval 5s logstash_prefix недостаточно используется
Мы можем увидеть сгенерированные индексы, если запустим curl в dstsrvr01 curl 'localhost:9200/_cat/indices? V' | недоиспользованный grep желтый открытый недоиспользованный-2018.09.02 S9PURAzIT2-SSo6QuIPH_Q 5 1 1554 0 390.9kb 390.9kb желтый открытый недоиспользованный-2018.08.29 itVOHT7_Qg6B-RNSAY40Bw 5 1 1563 0 404.7kb 0404jj0606j060-й юр. 138,5kb 138,5kb желтый открытый недоиспользованный-2018.07.09 7GljpUOQQByol0gv-C5ZSg 5 1 2043 0 463,8kb 463,8kb
Мы отображаем эти данные через Kibana . Мы в особенности относимся к значению STREAK, которое мы хотим иметь в целочисленном формате. Но здесь он находится в формате STRING по умолчанию и не может применять числовой фильтр (например, STREAK > 40). Есть ли возможность конвертировать определенное поле в целое число.
Версия клиента: fluentd-0.10.31-1.el5 Версия сервера: td-agent-2.3.6-0.el7.x86_64 kibana-5.6.9-1.x86_64asticsearch-5.6.9-1.noarch