Конвертировать запись hocon в dataframe

Question

У меня есть эта запись "каналы" в формате hocon:

param {
  channels = [
    {
      name = "MainPhone"
      id = 1
    }
    {
      name = "OpPhone"
      id = 2
    }
    {
      name = "Fax"
      id = 3
    }
  ]
}

Что мне нужно, это конвертировать запись channels в кадре данных, это возможно? Я пытался с помощью следующего кода:

val ch = confParam.getConfigList("param.channels")
case class Provider(id: String, name: String)
val l = ch.map(conf => Provider(conf.getString("id"), conf.getString("name"))).toList
val df = l.toDF()

но я получаю ошибку:

"Ошибка: (28, 20) значение toDF не является членом List [Provider] val df = list.toDF ()"

Answer 1

Использовать toDF() в Scala нужно импортировать spark.implicits в вашем коде. spark здесь относится к SparkSession объект, например в Spark 2.0+:

val spark = SparkSession.builder().getOrCreate()

Затем выполните импорт:

import spark.implicits._

Это позволит вам использовать такие функции, как toDF, toDS, так далее.