Спарк как выбрать класс из упакованной банки

Question

Я использую плагин sbt для создания толстой фляги. Мне нужно несколько банок, которые являются частью стандартного hadoop/spark, но с более новыми версиями.

Я хочу, чтобы spark worker jvm предпочел версию, поставляемую в комплекте с моим толстым jar-файлом, а не дистрибутивом hadoop/spark по умолчанию. Как я могу это сделать?

Answer 1

Решением этой проблемы является установка spark.{Driver,executor}.userClassPathFirst в конфигурации (опция - conf) при отправке приложения spark. Это будет сначала включать банки из Uber Jar, а затем из искровой classpath.

Другое решение заключается в использовании затенения в сборке sbt. И затените банки в нашей банке Uber, чья предыдущая версия была включена с искрой.