Авро схема объединение записей для файла CSV
Есть ли возможность иметь объединение записей для схемы avro?
У меня есть схема avro, которая описывает CSV-файл. Я пишу данные в Кафку. После того, как я закончил, я хотел бы добавить маркер EOF. Есть ли возможность описать это в avro?
Record1 - это поля файла, а Record2 - в схеме avro, представляющей поле EOF.
Что-то вроде этого:
my_schema = '''
{
"type": "record",
"name": "FileEntries",
"namespace": "models",
"fields": [
{
"name": "entry",
"type": [
{
"type": "record",
"name": "FileRecord",
"fields": [
{ "name": "RoutingTypeID", "type": ["string", "null"], "default": "None"},
{"name": "TrunkID", "type": ["string", "null"], "default": "None},
{"name": "IncomingID", "type": ["string", "null"], "default": "None}
]
},
{
"type": "record",
"name": "EndOfFile",
"fields": [
{ "name": "eod", "type": ["int", "null"], "default": 0}
]
}
]
}
]
}
Я хочу иметь возможность опубликовать запись, описывающую запись в файле, или опубликовать запись, описывающую EOF.