spark-submit.sh возвращает 0, если работа не удалась

Question

Я пытаюсь автоматизировать spark-submit.sh скрипт другого приложения. Тем не менее, я заметил, что хотя spark-submit знает об ошибке (он сообщает ERROR: Job failed.), он возвращает ноль, что указывает на то, что spark-submit.sh Сценарий успешно завершен. Увидеть:

./spark-submit.sh --vcap .vcap.json --deploy-mode cluster --master ...
To see the log, in another terminal window run the following command:
tail -f spark-submit_1463130693N.log

...

ERROR: Job failed.
Log file: spark-submit_1463130693N.log
snowch$ echo $?
0

Я мог бы разобрать вывод из spark-submit.sh сценарий для сообщения об ошибке, однако, это не очень надежно. Я использую правильную версию?

snowch$ ./spark-submit.sh --version
spark-submit.sh  VERSION : '1.0.0.0.20160420.1'

Это ошибка с spark-submit.sh скрипт?

Answer 1

Вы используете правильную версию. Это ошибка. Он должен вернуть код ошибки для этого случая.