java.lang.NoSuchMethodError scala.Predef$.ArrowAssoc(Ljava/lang/Object;)Ljava/lang/Object;

Question

Получив следующую ошибку во время выполнения задания oozie, мы перенесли java jdk 1.8 из 1.7, и компиляция прошла успешно.

Caused by: java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)Ljava/lang/Object;
        at com.twitter.scalding.RichXHandler$.<init>(XHandler.scala:38)
        at com.twitter.scalding.RichXHandler$.<clinit>(XHandler.scala)
        at com.twitter.scalding.Tool$.main(Tool.scala:152)
        at com.twitter.scalding.Tool.main(Tool.scala)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:498)
        at org.apache.oozie.action.hadoop.JavaMain.run(JavaMain.java:56)

Answer 1

Я была такая же проблема. Я использовал 2.11, в то время как мой кластер использовал Scala 2.10. Вы должны использовать ту же версию Scala, что и в среде / кластере, которые вы используете. Если вы запустите spark-shell, вы увидите, какая версия scala используется.

> spark-shell
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 1.6.3
      /_/

Using Scala version **2.10.5** (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_40)