Хранение нулевых значений в файлах avro

Question

У меня есть некоторые данные JSON, которые выглядят так:

  {
    "id": 1998983092,
    "name": "Test Name 1",
    "type": "search string",
    "creationDate": "2017-06-06T13:49:15.091+0000",
    "lastModificationDate": "2017-06-28T14:53:19.698+0000",
    "lastModifiedUsername": "[e-mail]",
    "lockedQuery": false,
    "lockedByUsername": null
  }

Я могу добавить нулевое значение lockedQuery к объекту GenericRecord без проблем.

GenericRecord record = new GenericData.Record(schema);
if(json.isNull("lockedQuery")){
    record.put("lockedQuery", null);
} 

Однако позже, когда я пытаюсь записать этот объект GenericRecord в файл avro, я получаю исключение нулевого указателя.

File file = new File("~/test.arvo");
DatumWriter<GenericRecord> datumWriter = new GenericDatumWriter<>(schema);
DataFileWriter<GenericRecord> dataFileWriter = new DataFileWriter<>(datumWriter);
dataFileWriter.create(schema, file);
for(GenericRecord record: masterList) {
    dataFileWriter.append(record); // NULL POINTER HERE
}

Когда я запускаю этот код, я получаю следующее исключение. Любые советы о том, как обработать нулевое значение в файле Avro, очень ценятся. Заранее спасибо.

java.lang.NullPointerException: null of boolean in field lockedQuery of 
com.mydomain.test1.domain.MyAvroRecord
Exception in thread "main" java.lang.RuntimeException: 
org.apache.avro.file.DataFileWriter$AppendWriteException: 
java.lang.NullPointerException: null of boolean in field lockedQuery of 
com.mydomain.test1.domain.MyAvroRecord
at com.mydomain.avro.App.main(App.java:198)
Caused by: org.apache.avro.file.DataFileWriter$AppendWriteException: 
java.lang.NullPointerException: null of boolean in field lockedQuery of 
com.mydomain.test1.domain.MyAvroRecord
at org.apache.avro.file.DataFileWriter.append(DataFileWriter.java:308)

РЕДАКТИРОВАТЬ: здесь MyAvroRecord

public class MyAvroRecord {
    long id;
    String name;
    String type;
    Date timestamp;
    Date lastModifcationDate;
    String lastModifiedUsername;
    Boolean lockedQuery;

Answer 1

Чтобы можно было установить для поля Avro значение null Вы должны разрешить это в схеме Avro, добавив null как один из возможных типов поля. Взгляните на пример из документации Avro:

{
  "type": "record",
  "name": "MyRecord",
  "fields" : [
    {"name": "userId", "type": "long"},              // mandatory field
    {"name": "userName", "type": ["null", "string"]} // optional field 
  ]
}

Вот userName объявляется как составной тип, который может быть null или же string, Такое определение позволяет установить userName поле в ноль. Как контраст userId может содержать только длинные значения, следовательно, попытка установить userId к нулю приведет к NullPointerException,

Answer 2

У меня тоже есть эта проблема, и теперь я ее решил.

я нашел @Nullableаннотация в Apache Avro, чтобы объявить поле допускающим значение NULL.

Итак, в этом примере мы должны

import org.apache.avro.reflect.Nullable;

public class MyAvroRecord {
    long id;
    String name;
    String type;
    Date timestamp;
    Date lastModifcationDate;
    String lastModifiedUsername;
    @Nullable
    Boolean lockedQuery;
}