Графана для искровой структурированной трансляции
Я следовал этим шагам, чтобы настроить Prometheus, Graphite Exporter и Grafana для построения метрик для Spark 2.2.1, в которой работает структурированная потоковая передача. Метрики коллекции на этом посте довольно устарели; и не включает в себя какие-либо метрики (я считаю), которые могут быть использованы для мониторинга структурированной потоковой передачи. Меня особенно интересуют ресурсы и длительность выполнения потоковых запросов, которые выполняют различные агрегации.
Есть ли предварительно настроенная панель управления для spark - я был немного удивлен, что не нашел ее на https://grafana.com/dashboards что заставляет меня подозревать, что Grafana не используется широко для мониторинга показателей для Spark. Если это так, что работает лучше?
1 ответ
Похоже, что это не какая-либо панель мониторинга в официальной панели Grafana, но вы можете проверить следующую панель мониторинга Spark, которая отображает метрики, собранные из приложений Spark.