Spark 1.5.0 spark.app.id предупреждение

Question

Я обновил свой кластер CDH для использования spark 1.5.0, Когда я подаю искру приложение, система показывает предупреждение о spark.app.id

Using default name DAGScheduler for source because spark.app.id is not set.

Я искал около spark.app.id но не документ об этом. Я прочитал эту ссылку, и я думаю, что она используется для вызова RestAPI.

Я не вижу это предупреждение в spark 1.4, Может ли кто-нибудь объяснить мне это и показать, как это установить?

Answer 1

Он не обязательно используется для REST API, а скорее для целей мониторинга e. g, когда вы хотите проверить журналы пряжи в каждом примере:

yarn logs <spark.app.id>

Это правда, что этот конкретный вопрос еще не задокументирован. Я думаю, что это было добавлено для стандартизации развертывания приложений в экосистеме Hadoop.

Я предлагаю вам установить "spark.app.id" в вашем приложении.

conf.set("spark.app.id", <app-id>) // considering that you already have a SparkConf defined of course

Тем не менее, это остается предупреждением, которое не повлияет на само приложение.