Как создать Spark для запуска скрипта Scala в HDInsight?

Question

Я хочу выполнить скрипт Scala, используя HDInsight. Ниже в статье описывается запуск скрипта py, но не упоминается о Scala. Я следовал статье (вместо py-файла, загруженного файла Scala), но Azure DataFactory не удалось выполнить с сообщением об ошибке:

({
    "errorCode": "2312",
    "message": "Spark job failed, batch id:4",
    "failureType": "UserError"
}

https://docs.microsoft.com/en-us/azure/data-factory/transform-data-using-spark

Answer 1

Если вы хотите выполнить искровой код, написанный на scala, вам нужно вызвать файл Jar. Если это слишком сложно, то вы также можете использовать блокнот данных блокнота. Дайте мне знать, если у вас возникнут проблемы

Answer 2

Чтобы решить вашу проблему, вам нужно

1. Откройте свой конвейер в АПД
2. Нажмите на свою искру деятельности
3. Зайдите в скрипт /jar, откройте Advanced
4. Установите Отладочную информацию для вашей активности на Всегда.

Хотя вы сможете просматривать журналы после сбоя конвейера. Adf предоставит вам ссылку на ваши журналы. Он будет находиться в связанном хранилище в директории журнала в корне вашей фляги.

Изучите журналы, чтобы понять, что приводит к сбою приложения Spark. Посмотреть изображение из АПД