Как настроить исполнителей с помощью пользовательского приемника метрик StatsD Spark

Question

Как добавить метки Spark Streaming в этот приемник StatsD для исполнителей?

Подобно другим сообщенным проблемам ( класс приемника не найден, класс приемника в исполнителе), я могу получить метрики драйвера, но исполнители выбрасывают ClassNotFoundException с моей настройкой:

• Класс приемника StatsD скомпилирован с моим приложением Spark-Streaming (my.jar)

• spark-submit запускается с:

  • --files ./my.jar (вытащить банку с раковиной в исполнитель)
  • --conf "spark.executor.extraClassPath=my.jar"

• Spark Conf настраивается в драйвере с помощью:

  val conf = new SparkConf()
  
  conf.set("spark.metrics.conf.*.sink.statsd.class",
           "org.apache.spark.metrics.sink.StatsDSink")
      .set("spark.metrics.conf.*.sink.statsd.host", conf.get("host"))
      .set("spark.metrics.conf.*.sink.statsd.port", "8125")
  

Answer 1

Похоже, вы попали в ошибку https://issues.apache.org/jira/browse/SPARK-18115. Я тоже ударил и погуглил ваш вопрос:(

Answer 2

Скопируйте файлы JAR в папку $SPARK_HOME/jars.