Может ли потребитель Kafka динамически загружать схему protobuf?
Мы хотим использовать заголовки Kafka (или некоторый метод TBD) для описания версии схемы protobuf, чтобы потребитель мог знать, как обновить свою схему protobuf, чтобы новые поля могли правильно получать ETL. Есть ли способ запустить потребительский код Kafka для поиска и импорта схемы protobuf?
Я довольно новичок в protobuf, но, насколько я понимаю, его нужно импортировать, что повлечет за собой перекомпиляцию или перестройку образа, что не идеально.
Таким образом, мы хотим что-то вроде поиска схемы protobuf, где потребитель Kafka может использовать сообщение, проверить заголовок сообщения, чтобы определить правильную схему protobuf, используемую для "декодирования" сообщения, а затем перейти к извлечению этой схемы protobuf из поиска. (какой-то быстрый поиск в кэше). Существует ли такая вещь? Это правильный способ использовать Kafka и protobuf? Причина в том, что у нас есть темы Кафки, схема которых часто меняется.