Как подключить Zeppelin к Spark 1.5, собранной из исходников?

Я вытащил последний источник из репозитория Spark и собрал локально. Он отлично работает из интерактивной оболочки, такой как spark-shell или же spark-sql,

Теперь я хочу подключить Zeppelin к моему Spark 1.5, согласно этому руководству по установке. Я опубликовал пользовательскую сборку Spark в локальном репозитории maven и установил пользовательскую версию Spark в команде сборки Zeppelin. Процесс сборки завершился успешно, но когда я пытаюсь запустить основные вещи, такие как sc внутри тетради выкидывает:

akka.ConfigurationException: версия JAR Akka [2.3.11] не соответствует предоставленной версии конфигурации [2.3.4]

Версия 2.3.4 установлена ​​в pom.xml а также spark/pom.xml, но простое их изменение даже не позволит мне получить сборку.

Если я перестроить Zeppelin со стандартным -Dspark.vesion=1.4.1, все работает.

Источник

1 ответ

Решение

Обновление 2016-01

Поддержка Spark 1.6 включена в мастер и доступна под -Pspark-1.6 профиль.

Обновление 2015-09

Поддержка Spark 1.5 включена в мастерскую и доступна под -Pspark-1.5 профиль.

Работа по поддержке Spark 1.5 в Apache Zeppelin (инкубация) была проделана в рамках этого PR apache / инкубатор-zeppelin#269, который скоро будет освоен.

На данный момент здание из филиала Spark_1.5 с -Pspark-1.5 должен сделать свое дело.

Источник
Другие вопросы по тегам