Gobblin MapReduce преобразовал из protobuf в Parquet

Пытаюсь найти пример преобразования сообщений protobuf в паркет с помощью Gobblin. Невозможно найти.

Scenario:
- Kafka messages are in Protobuf
- Gobblin Consumer: consumes protobuf from kafka and writes them as parquet into HDFS

У среды выполнения Gobblin есть конструктор писателей под названием:

public class ParquetDataWriterBuilder extends FsDataWriterBuilder<MessageType, Group> 

https://github.com/apache/incubator-gobblin/blob/master/gobblin-modules/gobblin-parquet/src/main/java/org/apache/gobblin/writer/ParquetDataWriterBuilder.java

но это, похоже, не принимает сообщения Protobuf как есть. Сначала их нужно преобразовать в группу.

Невозможно понять, как преобразовать сообщение protobuf в группу.

Любой указатель на работающего потребителя Gobblin с преобразованием protobuf в parquet должен помочь.

0 ответов

Другие вопросы по тегам