SparkUI не может быть достигнут во время отладки в IntelliJ
Я новичок в программировании Spark и разработке приложения Spark с использованием IntelliJ IDE. Чего я хочу достичь, так это достичь Spark Web UI и продолжить отладку в IntelliJ. Тем не менее, я получаю сообщение об ошибке "Этот сайт недоступен" при попытке получить доступ к URL-адресу, предоставленному SparkContext.
Возможен ли мониторинг Spark Web UI и отладка в IntelliJ?
Заранее спасибо.
ОБНОВИТЬ
Я уже пробовал http://localhost:4040/ и http://localhost:8088/. Кроме того, я мог получить доступ к Spark Web UI с http://localhost:4040/ при запуске spark-shell через интерфейс командной строки.
2 ответа
Вы можете увидеть ваше приложение на порте:8088, например: https: // имя хоста:8088
Я столкнулся с той же проблемой. Мое наблюдение состоит в том, что когда программа работает, вы все еще можете получить доступ к SparkUI через порт 4040. Но когда вы достигаете точки останова, вы не можете — вероятно, потому что программа приостановлена, но я не очень уверен.
Надеюсь это поможет