Мониторинг искр с помощью ганглиев
Я тестирую фреймворк Apache Spark. Мне нужно отслеживать некоторые аспекты моего кластера, такие как сеть и ресурсы.
Ganglia выглядит как хороший вариант для того, что мне нужно. Затем я узнал, что Spark поддерживает Ganglia.
На веб-странице мониторинга Spark есть такая информация: "Чтобы установить GangliaSink, вам нужно выполнить пользовательскую сборку Spark".
Я нашел в моем Spark каталог: "/extras/spark-ganglia-lgpl". Но я не знаю, как его установить.
Как я могу установить Ganglia для мониторинга кластера Spark? Как мне сделать эту кастомную сборку?
Спасибо!
2 ответа
Поддержка Spark Ganglia является одним из профилей Maven проекта Spark и называется "spark-ganglia-lgpl". Чтобы активировать профиль, вы добавляете опцию "-Pspark-ganglia-lgpl" в команду mvn при сборке проекта. Например, сборка Apache Hadoop 2.4.X с помощью Ganglia выполняется
mvn -Pspark-ganglia-lgpl -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -DskipTests clean package
Для создания проекта Spark, пожалуйста, обратитесь к документации Building Spark с Maven
Так что, если вы работаете со стеком HDP, я бы порекомендовал обновить его до последней версии. Он включает в себя систему отслеживания заданий spark, а также библиотеки клиентов spark, которые будут развернуты на компьютерах. Теперь он также будет интегрирован с показателями ambari, которые заменят Ganglia и Nagios.