Как преобразовать датафрейм в avro, используя схему?

Question

Как преобразовать фрейм данных в формат Avro, используя схему, указанную пользователем?

Answer 1

Вам следует использовать модуль spark-avro, который позволяет читать и записывать данные Avro из Spark SQL.

import org.apache.avro.Schema
import org.apache.spark.sql.SparkSession

val schema = new Schema.Parser().parse(new File("user.avsc"))
val spark = SparkSession.builder().master("local").getOrCreate()
spark
  .read
  .format("com.databricks.spark.avro")
  .option("avroSchema", schema.toString)
  .load("src/test/resources/episodes.avro")