Передача аргументов командной строки в Spark-shell зависает на терминале Scala

У меня есть искорка, написанная на Scala. Я использую:

arguments=$@
spark-shell -i <file-name-with-main, 
        auxiliary-file-name1, auxiliary-file-name2> 
    --master yarn-client 
    --driver-memory 2G 
    --executor-memory 4G 
    --num-executors 10   
    --executor-cores 4 
 <(echo 'val args = "'$arguments'".split("\\s+")' ; 
   echo "main(args)"; 
   echo ':q')

запустить работу. Идея пришла от передачи аргументов командной строки в Spark-shell. Но мне нужно включить echo "main(args)"; echo 'sys.exit', чтобы он работал, а в противном случае он висит на терминале scala.

Это почему? Есть ли лучший способ сделать это?

0 ответов

Другие вопросы по тегам