Как переопределить искровой конф в OLP

Question

Как я могу использовать следующие флаги для запуска искрового задания в OLP?

--conf spark.driver.userClassPathFirst=true
--conf spark.executor.userClassPathFirst=true

Answer 1

OLP в настоящее время не поддерживает установку пользовательских свойств Spark. Если вы сталкиваетесь с конфликтами зависимостей (которые часто вызывают этот вопрос), вам нужно будет найти другой способ их разрешения, например, затенение (при создании развернутого толстого фляги).

Answer 2

Использование заштрихованного фляги помогло, и да, это была проблема зависимости, так как я использовал более высокую версию lib commons.

Я должен был поставить свою зависимость lib от общего достояния до того, как будет включена любая другая конфликтующая зависимость, если кто-то еще столкнется с этой проблемой, они могут попытаться разрешить конфликты.