Zстандартные уровни в hadoop

Question

Уровень сжатия в org.apache.hadoop.io.compress.zstd.ZStandardCompressor не работает. Я вижу, как функция сброса вызывается в конструкторе ZStandardCompressor, который выполняет вызов init(level, stream) для вызова собственной функции, которая, как я считаю, является единственным параметром zstd для установки места. В моем тесте я проверяю, что это вызывается, но вызов разных уровней, таких как 1, 5, 10. 20 и т. Д., Не имеет никакого значения, так как размер вывода точно такой же.

Hadoop, похоже, не использует zstd-jni и использует собственные материалы для использования zstd. Я уверен, что люди используют разные уровни в hadoop. Не могли бы вы указать, что я должен идти в погоню за следующим шагом

Answer 1

Учитывая, что люди находят этот вопрос без ответа, я добавляю решение, которое использовал. InternalParquetRecordWriter имеет компрессор в качестве аргумента, поэтому я интегрировал здесь библиотеку zstd-jni, создав компрессор путем расширения BytesInputCompressor.