Как интегрировать Ganglia для Spark 2.1 Метрики заданий, Spark игнорируя метрики Ganglia

Question

Как интегрировать Ganglia для Spark 2.1 Метрики заданий, Spark игнорируя метрики Ganglia

Я пытаюсь интегрировать показатели работы Spark 2.1 в Ganglia.

Мой spark-default.conf выглядит так

*.sink.ganglia.class org.apache.spark.metrics.sink.GangliaSink
*.sink.ganglia.name Name
*.sink.ganglia.host $MASTERIP
*.sink.ganglia.port $PORT

*.sink.ganglia.mode unicast
*.sink.ganglia.period 10
*.sink.ganglia.unit seconds

Когда я отправляю свою работу, я вижу предупреждение

Warning: Ignoring non-spark config property: *.sink.ganglia.host=host
Warning: Ignoring non-spark config property: *.sink.ganglia.name=Name
Warning: Ignoring non-spark config property: *.sink.ganglia.mode=unicast
Warning: Ignoring non-spark config property: *.sink.ganglia.class=org.apache.spark.metrics.sink.GangliaSink
Warning: Ignoring non-spark config property: *.sink.ganglia.period=10
Warning: Ignoring non-spark config property: *.sink.ganglia.port=8649
Warning: Ignoring non-spark config property: *.sink.ganglia.unit=seconds

Детали моей среды

Hadoop : Amazon 2.7.3 - emr-5.7.0  
Spark  : Spark 2.1.1, 
Ganglia: 3.7.2

Если у вас есть какие-либо предложения или любая другая альтернатива Ganglia, пожалуйста, ответьте.

1

apache-spark spark-streaming amazon-emr emr ganglia

Источник

user1341572 26 июл '17 в 11:57

4 ответа

Другие вопросы по тегам apache-spark spark-streaming amazon-emr emr ganglia

user5141922 26 апр '18 в 23:05 2018-04-26 23:05 · Answer 1 · 2018-04-26 23:05

Для EMR, в частности, вам нужно поместить эти настройки в /etc/spark/conf/metrics.properties на главном узле.

Spark on EMR включает библиотеку Ganglia:

$ ls -l /usr/lib/spark/external/lib/spark-ganglia-lgpl_*
-rw-r--r-- 1 root root 28376 Mar 22 00:43 /usr/lib/spark/external/lib/spark-ganglia-lgpl_2.11-2.3.0.jar

Кроме того, в вашем примере отсутствует знак равенства (=) между именами и значениями конфигурации - не уверены, что это проблема. Ниже приведен пример конфигурации, которая успешно сработала для меня.

*.sink.ganglia.class=org.apache.spark.metrics.sink.GangliaSink
*.sink.ganglia.name=AMZN-EMR
*.sink.ganglia.host=$MASTERIP
*.sink.ganglia.port=8649

*.sink.ganglia.mode=unicast
*.sink.ganglia.period=10
*.sink.ganglia.unit=seconds

user2147228 28 фев '18 в 19:13 2018-02-28 19:13 · Answer 2 · 2018-02-28 19:13

В соответствии с искровыми документами

Система метрик настраивается с помощью файла конфигурации, который Spark ожидает присутствовать в $SPARK_HOME/conf/metrics.properties. Пользовательское местоположение файла может быть указано через свойство конфигурации spark.metrics.conf.

поэтому вместо того, чтобы эти конф spark-default.confпереместить их в $SPARK_HOME/conf/metrics.properties

user2138912 26 май '21 в 18:00 2021-05-26 18:00 · Answer 3 · 2021-05-26 18:00

Не знаю, нужно ли это еще кому-нибудь. Но вам нужно сделать полные конфигурации Ganglia:

      # Ganglia conf                                                                       
*.sink.ganglia.class=org.apache.spark.metrics.sink.GangliaSink                       
*.sink.ganglia.name=AMZN-EMR                                                         
*.sink.ganglia.host=$MASTERIP                                                       
*.sink.ganglia.port=8649                                                             
                                                                                     
*.sink.ganglia.mode=unicast                                                          
*.sink.ganglia.period=10                                                             
*.sink.ganglia.unit=seconds                                                          
                                                                                     
# Enable JvmSource for instance master, worker, driver and executor                  
master.source.jvm.class=org.apache.spark.metrics.source.JvmSource                    
worker.source.jvm.class=org.apache.spark.metrics.source.JvmSource                    
driver.source.jvm.class=org.apache.spark.metrics.source.JvmSource                    
executor.source.jvm.class=org.apache.spark.metrics.source.JvmSource

Даже при полной конфигурации я сталкиваюсь с этой проблемой из AWS EMR 5.33.0

      21/05/26 14:18:20 ERROR org.apache.spark.metrics.MetricsSystem: Source class org.apache.spark.metrics.source.JvmSource                     cannot be instantiated
java.lang.ClassNotFoundException: org.apache.spark.metrics.source.JvmSource                    
    at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:418)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:351)
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Class.java:348)
    at org.apache.spark.util.Utils$.classForName(Utils.scala:239)
    at org.apache.spark.metrics.MetricsSystem$$anonfun$registerSources$1.apply(MetricsSystem.scala:184)
    at org.apache.spark.metrics.MetricsSystem$$anonfun$registerSources$1.apply(MetricsSystem.scala:181)
    at scala.collection.mutable.HashMap$$anonfun$foreach$1.apply(HashMap.scala:130)
    at scala.collection.mutable.HashMap$$anonfun$foreach$1.apply(HashMap.scala:130)
    at scala.collection.mutable.HashTable$class.foreachEntry(HashTable.scala:236)
    at scala.collection.mutable.HashMap.foreachEntry(HashMap.scala:40)
    at scala.collection.mutable.HashMap.foreach(HashMap.scala:130)
    at org.apache.spark.metrics.MetricsSystem.registerSources(MetricsSystem.scala:181)
    at org.apache.spark.metrics.MetricsSystem.start(MetricsSystem.scala:102)
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:528)
    at org.apache.spark.api.java.JavaSparkContext.<init>(JavaSparkContext.scala:58)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
    at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
    at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:247)
    at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:357)
    at py4j.Gateway.invoke(Gateway.java:238)
    at py4j.commands.ConstructorCommand.invokeConstructor(ConstructorCommand.java:80)
    at py4j.commands.ConstructorCommand.execute(ConstructorCommand.java:69)
    at py4j.GatewayConnection.run(GatewayConnection.java:238)
    at java.lang.Thread.run(Thread.java:748)
21/05/26 14:18:20 ERROR org.apache.spark.metrics.MetricsSystem: Sink class org.apache.spark.metrics.sink.GangliaSink                        cannot be instantiated
21/05/26 14:18:20 ERROR org.apache.spark.SparkContext: Error initializing SparkContext.
java.lang.ClassNotFoundException: org.apache.spark.metrics.sink.GangliaSink                       
    at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:418)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:351)
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Class.java:348)
    at org.apache.spark.util.Utils$.classForName(Utils.scala:239)
    at org.apache.spark.metrics.MetricsSystem$$anonfun$registerSinks$1.apply(MetricsSystem.scala:200)
    at org.apache.spark.metrics.MetricsSystem$$anonfun$registerSinks$1.apply(MetricsSystem.scala:196)
    at scala.collection.mutable.HashMap$$anonfun$foreach$1.apply(HashMap.scala:130)
    at scala.collection.mutable.HashMap$$anonfun$foreach$1.apply(HashMap.scala:130)
    at scala.collection.mutable.HashTable$class.foreachEntry(HashTable.scala:236)
    at scala.collection.mutable.HashMap.foreachEntry(HashMap.scala:40)
    at scala.collection.mutable.HashMap.foreach(HashMap.scala:130)
    at org.apache.spark.metrics.MetricsSystem.registerSinks(MetricsSystem.scala:196)
    at org.apache.spark.metrics.MetricsSystem.start(MetricsSystem.scala:104)
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:528)
    at org.apache.spark.api.java.JavaSparkContext.<init>(JavaSparkContext.scala:58)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
    at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
    at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:247)
    at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:357)
    at py4j.Gateway.invoke(Gateway.java:238)
    at py4j.commands.ConstructorCommand.invokeConstructor(ConstructorCommand.java:80)
    at py4j.commands.ConstructorCommand.execute(ConstructorCommand.java:69)
    at py4j.GatewayConnection.run(GatewayConnection.java:238)
    at java.lang.Thread.run(Thread.java:748)

Это странно, потому что AWS EMR должен обеспечивать эту зависимость ( org.apache.spark:spark-core_2.11:2.4.7), и я надеюсь, что дистрибутив Spark с AWS EMR скомпилирован с опцией Ganglia. Принуждение этого jar-файла к параметрам --packages или --jars spark тоже не помогает.

Если кому-то удастся заставить Ganglia работать со Spark на AWS EMR с мониторингом jvm драйверов / исполнителей. Скажите, пожалуйста, как?

user1080009 26 июл '17 в 21:02 2017-07-26 21:02 · Answer 4 · 2017-07-26 21:02

С этой страницы: https://spark.apache.org/docs/latest/monitoring.html

Spark also supports a Ganglia sink which is not included in the default build due to licensing restrictions:

GangliaSink: Sends metrics to a Ganglia node or multicast group.
**To install the GangliaSink you’ll need to perform a custom build of Spark**. Note that by embedding this library you will include LGPL-licensed code in your Spark package. For sbt users, set the SPARK_GANGLIA_LGPL environment variable before building. For Maven users, enable the -Pspark-ganglia-lgpl profile. In addition to modifying the cluster’s Spark build user