Какая техника сжатия работает лучше при использовании таких инструментов, как datameer,presto и spark
Мы работаем над выбором лучшей техники сжатия. Мы попробовали с bzip2, но это заняло больше времени для сжатия
1 ответ
Я думаю, что не будет прямого ответа на ваш вопрос. Что будет лучше или лучше, будет зависеть от вашей инфраструктуры, требований и потока данных.
Вы можете взглянуть на " Сравнение производительности различных форматов файлов и механизмов хранения в экосистеме Hadoop" или " Сжатие Hadoop. Выбор кодека сжатия".
С точки зрения скорости, Снейппи может быть хорошей попыткой.