Fluentd прекратил посылать логи в asticsearch через несколько часов
У меня есть простая установка Fluentd-Elasticsearch-Kibana, которая ведет себя очень странно. Fluentd видит, что перестает отправлять информацию в эластичный поиск через 3 часа.
Я запускаю все в простом файле docker-compose
version: '2'
services:
fluentd:
build: ./fluentd
volumes:
- ./fluentd/conf:/fluentd/etc
links:
- "elasticsearch"
ports:
- "24225:24225"
- "24225:24225/udp"
elasticsearch:
image: elasticsearch
expose:
- 9200
ports:
- "9200:9200"
kibana:
image: kibana
links:
- "elasticsearch"
ports:
- "5601:5601"
Fluentd построен после этого dockerfile
# fluentd/Dockerfile
FROM fluent/fluentd:v0.12-debian
RUN ["gem", "install", "fluent-plugin-elasticsearch", "--no-rdoc", "--no-ri", "--version", "1.9.2"]
и он имеет следующий файл Conf
<source>
@type forward
port 24225
bind 0.0.0.0
</source>
<match *.**>
@type copy
<store>
@type elasticsearch
host elasticsearch
port 9200
logstash_format true
logstash_prefix fluentd
logstash_dateformat %Y%m%d
include_tag_key true
type_name access_log
tag_key @log_name
flush_interval 1s
</store>
<store>
@type stdout
</store>
</match>
Все работает в облаке и, конечно же, в одной машине. С других машин / экземпляров я отправляю свои журналы, и Fluentd получает эти журналы с совершенством. Проблема в том, что через каждые 3 часа, fluentd внезапно прекращает пересылку этих журналов моему эластичному поиску. Нет сообщения об ошибке, ничего. Если я перезапущу контейнер fluentd, все будет работать в течение следующих 3 часов.
Я искал такого рода поведение, но нигде не мог найти объяснения или кого-то, кто мог бы приблизиться к этой ситуации. Был один парень, у которого было что-то, что напоминало эту проблему, но в конце концов это было связано с упругим поиском, а не беглостью...