Мониторинг динамического (масштабирование вверх / вниз) кластера кафки

Question

Мы используем кластер kafka, и мы хотим контролировать этот кластер.

Текущий наш подход:

1. собирать метрики jmx (telegraf jolokia plugin или же jmxtrans)
2. хранить в притоке
3. сделать через графану

Но мы столкнулись с проблемой статической настройки списка брокеров kafka. Мы можем настроить только статический список через Jmxtrans или же Telegraf jolokia plugin,

Нам бы хотелось, чтобы динамический список (например, конфигурирование только соединения zookeeper кластера kafka для получения списка брокеров на каждой итерации сбора метрик) увеличивал / уменьшал количество случаев kafka.

Может быть, существуют другие инструменты для мониторинга динамического кластера кафки?

Answer 1

Мое окончательное решение следующее:

1. Пользовательский плагин ввода bash (потому что я не хочу создавать собственный телеграф с одним пользовательским плагином ввода go, и я не очень хорошо знаю язык go сейчас:))
2. В плагине Bash zkCli используется для обнаружения всех узлов кафки
3. Следующая запись скрипта bash навалом jolokia запрос к каждому узлу kafka, агрегаты и формат для притока плагинов.