Мониторинг автономного режима искрового кластера с помощью ганглиев
Я установил prebuitl spark 2.0.2 для hadoop 2.4 и более поздних версий здесь: https://spark.apache.org/downloads.html. Затем я создал свой кластер, состоящий из 1 мастера и 2 рабочих, а также установил Ganglia на 3 машины (gmetad, gmond на master и gmond только на рабочих). Мне нужно отслеживать использование процессором, памятью и диском в кластере спарк при запуске приложения спарк, чтобы получить производительность моего кластера. Мой вопрос заключается в том, как интегрировать Ganglia с искрой, как увидеть метрики искры в веб-интерфейсе ganglia? Я знаю, что мы должны сконфигурировать файл metric.properties в $SPARK_HOME/conf, чтобы настроить приемники ganglia. Я сделал это, но здесь я узнал, что у нас должны быть пакеты LGPL, и этот по умолчанию не включен. Как установить его, пока у меня есть искра встроенная. Должен ли я восстановить искру? Как это сделать? Я обнаружил в двух ссылках ниже, что используемая искра создается mvn или sbt, но не совпадает с тем, что я использовал ( Spark Pre-build)
Мониторинг Spark с помощью Ganglia и Как интегрировать Ganglia для Spark 2.1 Метрики заданий, Spark игнорируя метрики Ganglia
Спасибо