Авро схема объединение записей для файла CSV

Есть ли возможность иметь объединение записей для схемы avro?

У меня есть схема avro, которая описывает CSV-файл. Я пишу данные в Кафку. После того, как я закончил, я хотел бы добавить маркер EOF. Есть ли возможность описать это в avro?

Record1 - это поля файла, а Record2 - в схеме avro, представляющей поле EOF.

Что-то вроде этого:

my_schema = '''                                            
    {                                                                                                                                                                                                                                                             
             "type": "record",
             "name": "FileEntries",
             "namespace": "models",
             "fields": [
             {
                "name": "entry",
                "type": [

                        {

                         "type": "record",
                         "name": "FileRecord", 
                         "fields": [
                                { "name": "RoutingTypeID", "type": ["string", "null"], "default": "None"},
                                {"name": "TrunkID", "type": ["string", "null"], "default": "None},
                                {"name": "IncomingID", "type": ["string", "null"], "default": "None}

                             ]
                         },
                         {
                            "type": "record",
                            "name": "EndOfFile",
                            "fields": [
                                { "name": "eod", "type": ["int", "null"], "default": 0}
                            ]
                         }
                     ]
             }
             ]
    }

Я хочу иметь возможность опубликовать запись, описывающую запись в файле, или опубликовать запись, описывающую EOF.

0 ответов

Другие вопросы по тегам