Как переопределить искровой конф в OLP
Как я могу использовать следующие флаги для запуска искрового задания в OLP?
--conf spark.driver.userClassPathFirst=true
--conf spark.executor.userClassPathFirst=true
2 ответа
OLP в настоящее время не поддерживает установку пользовательских свойств Spark. Если вы сталкиваетесь с конфликтами зависимостей (которые часто вызывают этот вопрос), вам нужно будет найти другой способ их разрешения, например, затенение (при создании развернутого толстого фляги).
Использование заштрихованного фляги помогло, и да, это была проблема зависимости, так как я использовал более высокую версию lib commons.
Я должен был поставить свою зависимость lib от общего достояния до того, как будет включена любая другая конфликтующая зависимость, если кто-то еще столкнется с этой проблемой, они могут попытаться разрешить конфликты.