Использование Logstash для подачи данных в несколько "кластеров "asticsearch в выходных плагинах через один файл конфигурации

Question

Я использую ELK и Logstash-экспедитор. Я пытаюсь использовать один экземпляр logstash для отправки данных в несколько эластичных поисков clusters, Мой выходной конфиг дровосека выглядит так

output {
  elasticsearch {
    host => "localhost"
    cluster => "my-es-cluster"
  }
  elasticsearch {
    cluster => "my-another-cluster"
  }
  stdout { codec => rubydebug }
}

Когда я пишу второй elasticsearch блокировать как то, это затопляет мои журналы logstash с

{:timestamp=>"2015-07-22T00:02:53.274000+0000",:message=>"Вход дровосека: конвейер заблокирован, временный отказ от нового соединения.",:level=>:warn}

как описано в этой ветке обсуждения Logstash. Я нашел только эту старую групповую дискуссию в Google, в которой есть похожий случай, но в комментариях есть только одно упоминание о том, что оно должно работать. Я проверил документацию для выходного плагина, но, насколько я видел, нет упоминания об использовании одного и того же блока вывода в одном файле conf выходного плагина.

Я что-то упускаю из виду?

Answer 1

{:timestamp=>"2015-07-22T00:02:53.274000+0000", :message=>"Lumberjack input: the pipeline is blocked, temporary refusing new connection.", :level=>:warn}

Это предупреждение не связано со вторым кластером на выходе, я уверен. У меня такое же предупреждение в моих журналах Logstash, но я отправляю только в один кластер. Я думаю, что эта ошибка означает, что в вашей очереди слишком много сообщений, и Logstash будет ждать некоторое время. Сейчас я игнорирую это предупреждение, и мой кластер работает хорошо. Мой кластер получает более 120 ГБ информации в сутки.