Почему ошибка "Невозможно найти кодировщик для типа, хранящегося в наборе данных" при кодировании JSON с использованием классов case?

Я написал искровую работу:

object SimpleApp {
  def main(args: Array[String]) {
    val conf = new SparkConf().setAppName("Simple Application").setMaster("local")
    val sc = new SparkContext(conf)
    val ctx = new org.apache.spark.sql.SQLContext(sc)
    import ctx.implicits._

    case class Person(age: Long, city: String, id: String, lname: String, name: String, sex: String)
    case class Person2(name: String, age: Long, city: String)

    val persons = ctx.read.json("/tmp/persons.json").as[Person]
    persons.printSchema()
  }
}

В IDE при запуске основной функции возникает ошибка 2:

Error:(15, 67) Unable to find encoder for type stored in a Dataset.  Primitive types (Int, String, etc) and Product types (case classes) are supported by importing sqlContext.implicits._  Support for serializing other types will be added in future releases.
    val persons = ctx.read.json("/tmp/persons.json").as[Person]
                                                                  ^

Error:(15, 67) not enough arguments for method as: (implicit evidence$1: org.apache.spark.sql.Encoder[Person])org.apache.spark.sql.Dataset[Person].
Unspecified value parameter evidence$1.
    val persons = ctx.read.json("/tmp/persons.json").as[Person]
                                                                  ^

но в Spark Shell я могу выполнить эту работу без ошибок. в чем проблема?

Источник

3 ответа

Решение

Сообщение об ошибке говорит, что Encoder не может взять Person кейс-класс.

Error:(15, 67) Unable to find encoder for type stored in a Dataset.  Primitive types (Int, String, etc) and Product types (case classes) are supported by importing sqlContext.implicits._  Support for serializing other types will be added in future releases.

Переместите объявление класса case за пределы области действия. SimpleApp,

Источник

У вас та же ошибка, если вы добавляете sqlContext.implicits._ а также spark.implicits._ в SimpleApp (порядок не имеет значения).

Удаление одного или другого будет решением:

val spark = SparkSession
  .builder()
  .getOrCreate()

val sqlContext = spark.sqlContext
import sqlContext.implicits._ //sqlContext OR spark implicits
//import spark.implicits._ //sqlContext OR spark implicits

case class Person(age: Long, city: String)
val persons = ctx.read.json("/tmp/persons.json").as[Person]

Протестировано с Spark 2.1.0

Самое смешное, что если вы добавите один и тот же объект дважды, у вас не будет проблем.

Источник

@ Милад Хаджави

Определить классы дел Person вне объекта SimpleApp. Также добавьте импорт sqlContext.implicits._ внутри функции main().

Источник
Другие вопросы по тегам