Gobblin MapReduce преобразовал из protobuf в Parquet
Пытаюсь найти пример преобразования сообщений protobuf в паркет с помощью Gobblin. Невозможно найти.
Scenario:
- Kafka messages are in Protobuf
- Gobblin Consumer: consumes protobuf from kafka and writes them as parquet into HDFS
У среды выполнения Gobblin есть конструктор писателей под названием:
public class ParquetDataWriterBuilder extends FsDataWriterBuilder<MessageType, Group>
но это, похоже, не принимает сообщения Protobuf как есть. Сначала их нужно преобразовать в группу.
Невозможно понять, как преобразовать сообщение protobuf в группу.
Любой указатель на работающего потребителя Gobblin с преобразованием protobuf в parquet должен помочь.