Spark webUI - заполненная страница с информацией о приложении

Question

Я использую spark 1.1.0 на отдельном кластере с 3 узлами.

Я хочу видеть подробные журналы завершенных приложений, поэтому я установил в своей программе:

set("spark.eventLog.enabled","true")
set("spark.eventLog.dir","file:/tmp/spark-events")

но когда я нажимаю на приложение в webui, я получаю страницу с сообщением:

Журнал приложения не найден (app-20150126000651-0331) Не найдено журналов событий для приложения xxx$ в файле:/tmp/spark-events/xxx-1422227211500. Вы указали правильный каталог журналирования?

несмотря на то, что каталог существует и содержит 3 файла:

APPLICATION_COMPLETE *, EVENT_LOG_1 * и SPARK_VERSION_1.1.0*

Любое предложение, чтобы решить проблему?

Благодарю.

Answer 1

1. почему название вашего приложения xxx$ а потом xxx в вашем сообщении об ошибке? Это действительно то, что сообщает Spark?
2. Проблема с разрешениями: проверьте, что каталог, в который вы входите, доступен для чтения и выполнения пользователем, под которым вы запускаете Spark (и что внутренние файлы также доступны для чтения).
3. Убедитесь, что вы правильно указали master, т.е. --master spark://<localhostname>:7077
4. Копаться в EVENT_LOG_1* файл. Последнее событие (в последней строке) файла должно быть событием "Приложение завершено". Если это не так, вероятно, ваше приложение не вызывало sc.stop()хотя журналы все равно должны отображаться.

Answer 2

У меня была та же ошибка "Вы указали правильный каталог журналирования?" и для меня исправление состояло в том, чтобы добавить '/' в конце пути для 'spark.eventLog.dir', т.е. /root/ephemeral-hdfs/spark-events/

>> cat spark/conf/spark-defaults.conf
    spark.eventLog.dir /root/ephemeral-hdfs/spark-events/
    spark.executor.memory   5929m