NoSuchMethodError при запуске потоковой передачи с искрой

Question

Exception in thread "main" java.lang.NoSuchMethodError:                                                                                         
   com.fasterxml.jackson.module.scala.deser.BigDecimalDeserializer$.handledType()Ljava/lang/Class;

Я создаю простое искровое потоковое приложение, используя твиттер в качестве источника. Но застрять в этой ошибке. Я использую spark 1.6.0 и scala 2.10.4.

Answer 1

Это исключение обычно означает, что у вас есть несколько версий библиотеки, доступных во время выполнения, и выбранная не та, на которую вы полагаетесь. Возможно, две библиотеки скомпилированы в Uber JAR.

Чтобы избежать этого, вы можете иметь приоритет для ваших версий JAR, указав их явно через spark.executor.extraClassPath а также spark.driver.extraClassPath, Больше можно прочитать в Spark Configuration