Передача аргументов командной строки в Spark-shell зависает на терминале Scala
У меня есть искорка, написанная на Scala. Я использую:
arguments=$@
spark-shell -i <file-name-with-main,
auxiliary-file-name1, auxiliary-file-name2>
--master yarn-client
--driver-memory 2G
--executor-memory 4G
--num-executors 10
--executor-cores 4
<(echo 'val args = "'$arguments'".split("\\s+")' ;
echo "main(args)";
echo ':q')
запустить работу. Идея пришла от передачи аргументов командной строки в Spark-shell. Но мне нужно включить echo "main(args)"; echo 'sys.exit', чтобы он работал, а в противном случае он висит на терминале scala.
Это почему? Есть ли лучший способ сделать это?