Пример искры Java работает неправильно с ошибкой: java.lang.NoSuchMethodError: scala.Predef$.$ Scope()Lscala/xml/TopScope$

Question

Я написал пример с spark maven поддержка в Intelligent IDEA, spark версия 2.0.0, hadoop версия 2.7.3, scala версия 2.11.8. Окружающая среда в системе и IDE - это одна и та же версия. Затем приложение запускается с ошибкой:

Исключение в потоке "main" java.lang.NoSuchMethodError: scala.Predef$.$scope()Lscala/xml/TopScope$; в org.apache.spark.ui.jobs.StagePage.(StagePage.scala:44) в org.apache.spark.ui.jobs.StagesTab.(StagesTab.scala:34) в org.apache.spark.ui.SparkUI.(SparkUI.scala:62) в org.apache.spark.ui.SparkUI$.create(SparkUI.scala:215) в org.apache.spark.ui.SparkUI$.createLiveUI(SparkUI.scala:157) в org.apache.spark.SparkContext.<init>(SparkContext.scala:443) в org.apache.spark.SparkContext.<init>(SparkContext.scala:149) в org.apache.spark.SparkContext.<init>(SparkContext.scala:185) в org.apache.spark.api.java.JavaSparkContext.<init>(JavaSparkContext.scala:92) в com.spark.test.WordCountTest.main(WordCountTest.java:25) в sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) в sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) в sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) в java.lang.reflect.Method.invoke(Method.java:606) в com.intellij.rt.execution.application.AppMain.main(AppMain.java:140)

Answer 1

Spark 2.0.0, сборка с Scala 2.10, вы должны добавить Scala 2.10 в качестве поддержки фреймворка

Answer 2

Обновить pom.xml с участием scala 2.11.8,
См. Документацию по загрузке для совместимости версий.