Не ошибка файла данных при чтении файла Avro

Question

У меня есть файл с данными в формате Avro. Я хотел бы прочитать эти данные в структуру данных типа GenericRecord или любую другую структуру данных типа, чтобы иметь возможность отправлять их из Kafka в Spark.

Я пытался использовать DataFileReader, однако результатом была эта ошибка:

Exception in thread "main" java.io.IOException: Not a data file.
    at org.apache.avro.file.DataFileStream.initialize(DataFileStream.java:105)

Вот код с произведенным им:

val schema = Source.fromFile(schemaPath).mkString
val parser = new Schema.Parser
val avroSchema = parser.parse(schema)
val avroDataFile = new File(dataPath)

val avroReader = new GenericDatumReader[GenericRecord](avroSchema)
val dataFileReader = new DataFileReader[GenericRecord](avroDataFile, avroReader) 
//THIS LINE PRODUCED ERROR

Как я могу исправить эту ошибку?

Вот как выглядит моя схема данных Avro:

{
  "type" : "record",
  "namespace" : "input_data",
  "name" : "testUser",
  "fields" : [
    {"name" : "name", "type" : "string", "default": "NONE"},
    {"name" : "age", "type" : "int", "default": -1},
    {"name" : "phone", "type" : "string", "default" : "NONE"},
    {"name" : "city", "type" : "string", "default" : "NONE"},
    {"name" : "country", "type" : "string", "default" : "NONE"}
  ]
}

И вот данные, которые я пытался прочитать (они были сгенерированы этим инструментом):

{
  "name" : "O= ~usP3\u0001\bY\u0011k\u0001",
  "age" : 585392215,
  "phone" : "\u0012\u001F#\u001FH]e\u0015UW\u0000\fo",
  "city" : "aWi\u001B'\u000Bh\u00163\u001A_I\u0001\u0001L",
  "country" : "]H\u001Dl(n!Sr}oVCH"
}
{
  "name" : "\u0011Y~\fV\u001Dv%4\u0006;\u0012",
  "age" : -2045540864,
  "phone" : "UyOdgny-hA",
  "city" : "\u0015f?\u0000\u0015oN{\u0019\u0010\u001D%",
  "country" : "eY>c\u0010j\u0002[\u001CdDQ"
}
...

Answer 1

Ну, эти данные не Avro, это JSON.

Если бы это были двоичные данные Avro, вы бы не смогли прочитать файл без предварительного использования avro-tools.jar tojson действие.

Если вы посмотрите на документацию по использованию, JSON по умолчанию

-j, --json: Encode outputted data in JSON format (default)

Чтобы получить Avro, используйте arg -s schema.avsc -b -o out.avro

Есть и другие способы генерирования тестовых данных в Кафке