Как сделать запрос на создание сжатого паркетного файла?

Question

Я сделал программу изменения формата данных, используя Apache Drill.

В этой программе, если CSV-файл конвертировать в JSON, JSON-файл выполнен в формате hdfs.

Но я хочу, чтобы выходной файл был сжат.

Является ли это возможным?? Если это возможно, как это сделать??

Answer 1

Да, вы можете установить тип сжатия в Apache Drill.

Из документации,

Вы можете установить параметры планирования и выполнения запросов Drill для каждого кластера, на уровне системы или сеанса. Параметры, установленные на уровне сеанса, применяются только к запросам, выполняемым во время текущего соединения Drill. Параметры, установленные на системном уровне, влияют на всю систему и сохраняются между перезапусками. Настройки уровня сеанса переопределяют настройки уровня системы."

ALTER SYSTEM SET `option_name` = value;

имя опции store.parquet.compression Вы можете выбрать тип сжатия из допустимых значений: snappy, gzip, none

Больше информации здесь.