Исключение при попытке запустить приложение Spark с разбором JSON

У меня есть простое приложение Spark со Scala и SBT. Сначала я попытался сделать следующее:

  • бежать sbt clean package

  • бежать spark-submit --class Main ./target/scala-2.11/sparktest_2.11-1.0.jar

но это терпит неудачу со следующим исключением:

Exception in thread "main" java.lang.NoClassDefFoundError: com/fasterxml/jackson/module/scala/DefaultScalaModule$

Затем я попробовал плагин сборки для SBT, но вместо этого я получил следующее исключение:

java.lang.NoSuchMethodError: com.fasterxml.jackson.databind.introspect.POJOPropertyBuilder.addField(Lcom/fasterxml/jackson/databind/introspect/AnnotatedField;Lcom/fasterxml/jackson/databind/PropertyName;ZZZ)V

Как я вижу, все выглядит как в библиотеке Джексона, так и в поддержке Scala. Может быть, это какая-то проблема, связанная с версиями библиотек?

Мой build.sbt выглядит так:

name := "SparkTest"

version := "1.0"

scalaVersion := "2.11.4"

scalacOptions := Seq("-unchecked", "-deprecation", "-encoding", "utf8", "-feature")

libraryDependencies ++= {
  Seq(
    "org.apache.spark"              %% "spark-core"           % "1.2.1"     % "provided",
    "com.fasterxml.jackson.core"    % "jackson-core"          % "2.4.1",
    "com.fasterxml.jackson.core"    % "jackson-databind"      % "2.4.1",
    "com.fasterxml.jackson.module"  %% "jackson-module-scala" % "2.4.1"
  )
}

И мой код приложения просто так:

import com.fasterxml.jackson.databind.{DeserializationFeature, ObjectMapper}
import com.fasterxml.jackson.module.scala.DefaultScalaModule
import org.apache.spark.{SparkConf, SparkContext}

trait JsonUtil {
  val mapper = new ObjectMapper()
  mapper.registerModule(DefaultScalaModule)
  mapper.configure(DeserializationFeature.FAIL_ON_UNKNOWN_PROPERTIES, false)
}

case class Person(name: String)

object Main extends JsonUtil {

  def main(args: Array[String]) {

    val conf = new SparkConf().setAppName("Spark Test App")
    val sc = new SparkContext(conf)
    val inputFile = "/home/user/data/person.json"
    val input = sc.textFile(inputFile)

    val persons = input.flatMap { line ⇒ {
      try {
        println(s"  [DEBUG] trying to parse '$line'")
        Some(mapper.readValue(line, classOf[Person]))
      } catch {
        case e : Exception ⇒
          println(s"  [EXCEPTION] ${e.getMessage}")
          None
      }
    }}

    println("PERSON LIST:")
    for (p ← persons) {
      println(s"  $p")
    }
    println("END")
  }

}

РЕДАКТИРОВАТЬ: проблема, кажется, связана с приложением Spark. Если я запускаю простое приложение только для тестирования JSON, все идет нормально. Но если я попытаюсь сделать то же самое из приложения Spark, проблема появится, как описано выше. Есть идеи?

0 ответов

Другие вопросы по тегам