Невозможно установить config в spark-submit из командной строки

Question

Я пытаюсь установить основной URL в банке приложения, используя ниже:

val spark = SparkSession
  .builder()
  .master("spark://master:7077")
  .appName("TestApp")
  .config("spark.sql.warehouse.dir", "/tmp/spark-warehouse")
  .getOrCreate()

Я пытаюсь запустить банку с параметрами ниже:

spark-submit -—num-executors 10 -—executor-memory 5G appJar.jar 

spark-submit не принимает параметры объяснения, предоставленные банке. Когда главный URL установлен в jar приложения, все остальные настройки игнорируются? Может кто-нибудь объяснить это, пожалуйста?

Answer 1

Я думаю, что правильный способ дать -

spark-submit --num-executors 10 --executor-memory 5G appJar.jar