MRUnit для паркета

Я пытаюсь проверить мой водитель с MRUnit и мой MapDriver формат MapDriver <LongWritable, Group, ImmutableBytesWritable, KeyValue> Я нашел правильную сериализацию для KeyValue но не могу найти Group и я получаю следующую ошибку.

    Group group = sfg.newGroup()
    parquetMapDriver.withInput(new LongWritable(), group);

Нет применимого класса, реализующего сериализацию в conf на io.serializations: класс org.apache.parquet.example.data.simple.SimpleGroup

Я в настоящее время устанавливаю io.serializations вот так

    parquetMapDriver = MapDriver.newMapDriver(parquetMapper);
    conf = parquetMapDriver.getConfiguration();
    conf.setStrings("io.serializations", conf.get("io.serializations"),
    MutationSerialization.class.getName(),
    KeyValueSerialization.class.getName(),
    WritableSerialization.class.getName(),
    ResultSerialization.class.getName());

Где я могу найти сериализацию для Hadoop Group Class?

0 ответов

Другие вопросы по тегам