Консольный вывод с рабочих узлов в файл в режиме кластера Spark
Я бегу pyspark использование сценария spark-submit, Работа проходит успешно.
Теперь я пытаюсь собрать консольный вывод этой работы в файл, как показано ниже.
spark-submit in yarn-client mode
spark-submit --master yarn-client --num-executors 5 --executor-cores 5 --driver-memory 5G --executor-memory 10G --files /usr/hdp/current/spark-client/conf/hive-site.xml --jars /usr/hdp/current/spark-client/lib/datanucleus-api-jdo-3.2.6.jar,/usr/hdp/current/spark-client/lib/datanucleus-rdbms-3.2.9.jar,/usr/hdp/current/spark-client/lib/datanucleus-core-3.2.10.jar --py-files customer_profile/customer_helper.py#customer_helper.py,customer_profile/customer_json.json customer_profile/customer.py > /home/$USER/logs/customer_2018_10_26 2>&1
Я могу перенаправить весь вывод консоли, записанный в файл /home/$USER/logs/customer_2018_10_26 включает в себя все loglevels and any stacktrace errors
spark-submit in yarn-cluster mode
spark-submit --master yarn-cluster --num-executors 5 --executor-cores 5 --driver-memory 5G --executor-memory 10G --files /usr/hdp/current/spark-client/conf/hive-site.xml --jars /usr/hdp/current/spark-client/lib/datanucleus-api-jdo-3.2.6.jar,/usr/hdp/current/spark-client/lib/datanucleus-rdbms-3.2.9.jar,/usr/hdp/current/spark-client/lib/datanucleus-core-3.2.10.jar --py-files customer_profile/customer_helper.py#customer_helper.py,customer_profile/customer_json.json customer_profile/customer.py > /home/$USER/logs/customer_2018_10_26 2>&1
С помощью yarn-cluster В режиме я не могу перенаправить вывод консоли в файл /home/$USER/logs/customer_2018_10_26,
Проблема в том, что моя работа не сработает yarn-client режим я могу перейти в файл /home/$USER/logs/customer_2018_10_26 и легко искать ошибки.
Но если моя работа не сработает в yarn-cluster режим, то я не получаю трассировку стека для копирования в файл /home/$USER/logs/customer_2018_10_26, Единственный способ исправить ошибку - использовать yarn logs,
Я хотел бы избежать использования yarn logs вариант Вместо этого я хочу увидеть error stack trace в файле /home/$USER/logs/customer_2018_10_26 сам при использовании yarn-cluster Режим.
Как я могу этого достичь?