fastavro: как объединить вывод schemaless_writer () в OCF
Наши записи из Кафки. Каждая запись является выводом schemaless_writer, а также идентификатора схемы. Конечно, нам нужно сначала удалить идентификатор схемы из каждой записи. Затем мы должны преобразовать эти записи (двоичные без идентификатора схемы) в avro OCF, который является файлом контейнера объектов Avro. Мне нужно прочитать пакет записей и преобразовать их в OCF.
Мы используем fastavro для подготовки OCF:
buf = BytesIO()
w = Writer(buf, schema)
Но я понятия не имею, как записать эти записи в buf после завершения заголовка.
Может стоит использовать Writer и write_block? Как я могу преобразовать каждую запись в объект, подобный блоку?
Или я могу использовать write()? Но кодов для установки маркера синхронизации я не увидел.
Спасибо