Удаленная отладка заданий Scala Spark с помощью VsCode

Я хотел бы иметь возможность удаленной отладки задания Spark, написанного на Scala, работающего в контейнере докеров с VsCode. Это то, что у меня есть до сих пор,

  1. VsCode с Scala-металлов v0.8 установлен
  2. Эта конфигурация запуска отладки
  3. Я раскручиваю искровой кластер с помощью docker-compose up
  4. Я отправляю искровое задание в кластер, запущенный выше, с помощью следующей команды
docker exec -it -e SPARK_SUBMIT_OPTS=-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=4000 -w /spark spark-job-starter_master_1 bin/spark-submit --class example.StarterSparkJob /build/example.jar

После этого я вижу результат Listening for transport dt_socket at address: 4000

  1. Я пытаюсь запустить отладчик из VsCode, но получаю ошибку.
Debugger failed to attach: handshake failed - received >Content-Length< - expected >JDWP-Handshake<

Полная информация о коде находится здесь https://github.com/aedenj/spark-job-starter/tree/vscode-debug-setup. Ваше руководство ценится.

Источник

0 ответов

Другие вопросы по тегам