Невозможно выполнить код Scala в кластере Azure DataBricks

Question

Я пытаюсь настроить среду разработки для DataBricks, поэтому мои разработчики могут писать код с помощью VSCODE IDE(или какой-либо другой IDE) и выполнять код для кластера DataBricks.

Итак, я просмотрел документацию DataBricks Connect и выполнил настройку, как предложено в документе. https://docs.databricks.com/dev-tools/databricks-connect.html

Опубликуйте настройку. Я могу выполнить код Python в кластере Azure DataBricks, но не с кодом Scala.

Во время запуска установки я обнаружил, что он говорит о пропуске теста команды scala в Windows, я не уверен, не хватает ли мне здесь какой-либо конфигурации.

Подскажите, пожалуйста, как решить эту проблему.

Answer 1

Это не ошибка, а просто заявление, в котором говорится databricks-connect test пропускает тестирование кода Scala в Windows, вы все равно можете выполнять код с локального компьютера в кластере с помощью databricks-connect, вам нужно добавить банки из databricks-connect get-jar-dirкаталог в структуру вашего проекта в IDE, как описано в этой документации, шаги https://docs.microsoft.com/en-us/azure/databricks/dev-tools/databricks-connect#intellij-scala-or-java

Также обратите внимание, что при использовании лазурных блоков данных вы вводите общий хост Databricks вместе с идентификатором вашей рабочей области (org-id) при выполнении databricks-connect configure

например- https://westeurope.azuredatabricks.net/o=?xxxx вместо https://adb-xxxx.yz.azuredatabricks.net