Передача нескольких системных свойств в spark-submit

Question

Я пытаюсь запустить работу с помощью spark-submit в Windows. Я выполняю приведенную ниже команду spark-submit из командной строки.

spark-submit --driver-class-path % FILE_NAME% \ config --files % FILE_NAME% \ config \ app.conf,% FILE_NAME% \ config \ log4j.properties --conf "spark.driver.extraJavaOptions = -Dcassandra. username = cassandra -Dcassandra.password=cassandra@123 " --class com.sapient.main.MainApp% FILE_NAME% \ lib \ test.jar

Здесь я пытаюсь передать два системных свойства, используя spark.driver.extraJavaOptions один cassandra.username и другое cassandra.password но при выполнении команды я получаю ошибку ниже

The input line is too long.

Однако, если я передам только одно системное свойство extraJavaOptions и без двойных кавычек "" как ниже, то все работает нормально.

 --conf spark.driver.extraJavaOptions=-Dcassandra.username=cassandra

Но мне нужно передать 2 системных свойства. Может кто-нибудь помочь, пожалуйста, как решить эту проблему? Также дайте мне знать, если есть другой способ передать системные свойства для искры, которые могут избежать этой проблемы.

Примечание: он работает в среде Linux.

Answer 1

Вы можете использовать файл conf и передать его в spark-submit

или же

передать как показано ниже

--conf spark.driver.extraJavaOptions=-Dcassandra.username=cassandra\
--conf spark.rpc.message.maxSize=1024\
--conf spark.network,timeout=1000\