Как мне распаковать поток gzip с помощью zlib?

Файлы формата Gzip (созданные с gzip например, программа) использует алгоритм сжатия "deflate", который является тем же алгоритмом сжатия, который использует zlib. Однако при использовании zlib для раздувания сжатого gzip файла библиотека возвращает Z_DATA_ERROR,

Как я могу использовать zlib для распаковки файла gzip?

Источник

4 ответа

Решение

Чтобы распаковать файл формата gzip с помощью zlib, вызовите inflateInit2 с windowBits параметр как 16+MAX_WBITS, как это:

inflateInit2(&stream, 16+MAX_WBITS);

Если вы этого не сделаете, zlib будет жаловаться на плохой формат потока. По умолчанию zlib создает потоки с заголовком zlib, а на inflate не распознает другой заголовок gzip, если вы не укажете это. Хотя это задокументировано, начиная с версии 1.2.1 zlib.h заголовочный файл, его нет в руководстве по zlib. Из заголовочного файла:

windowBits также может быть больше 15 для дополнительного декодирования gzip. Добавить 32 к windowBits включить декодирование zlib и gzip с автоматическим определением заголовка или добавить 16 для декодирования только формата gzip (формат zlib вернет Z_DATA_ERROR). Если поток GZIP декодируется, strm->adler это crc32 вместо adler32.

Источник

питон

zlib Библиотека поддерживает:

  • RFC 1950 (zlib сжатый формат)
  • RFC 1951 (deflate сжатый формат)
  • RFC 1952 (gzip сжатый формат)

Питон zlib Модуль также будет поддерживать их.

выбирая windowBits

Но zlib может распаковать все эти форматы:

  • (де) сжать deflate формат, использовать wbits = -zlib.MAX_WBITS
  • (де) сжать zlib формат, использовать wbits = zlib.MAX_WBITS
  • (де) сжать gzip формат, использовать wbits = zlib.MAX_WBITS | 16

См. Документацию в http://www.zlib.net/manual.html (раздел inflateInit2)

Примеры

данные испытаний:

>>> deflate_compress = zlib.compressobj(9, zlib.DEFLATED, -zlib.MAX_WBITS)
>>> zlib_compress = zlib.compressobj(9, zlib.DEFLATED, zlib.MAX_WBITS)
>>> gzip_compress = zlib.compressobj(9, zlib.DEFLATED, zlib.MAX_WBITS | 16)
>>> 
>>> text = '''test'''
>>> deflate_data = deflate_compress.compress(text) + deflate_compress.flush()
>>> zlib_data = zlib_compress.compress(text) + zlib_compress.flush()
>>> gzip_data = gzip_compress.compress(text) + gzip_compress.flush()
>>>

очевидный тест для zlib:

>>> zlib.decompress(zlib_data)
'test'

тест для deflate:

>>> zlib.decompress(deflate_data)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
zlib.error: Error -3 while decompressing data: incorrect header check
>>> zlib.decompress(deflate_data, -zlib.MAX_WBITS)
'test'

тест для gzip:

>>> zlib.decompress(gzip_data)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
zlib.error: Error -3 while decompressing data: incorrect header check
>>> zlib.decompress(gzip_data, zlib.MAX_WBITS|16)
'test'

данные также совместимы с gzip модуль:

>>> import gzip
>>> import StringIO
>>> fio = StringIO.StringIO(gzip_data)
>>> f = gzip.GzipFile(fileobj=fio)
>>> f.read()
'test'
>>> f.close()

автоматическое определение заголовка (zlib или gzip)

добавление 32 в windowBits вызовет обнаружение заголовка

>>> zlib.decompress(gzip_data, zlib.MAX_WBITS|32)
'test'
>>> zlib.decompress(zlib_data, zlib.MAX_WBITS|32)
'test'

с помощью gzip вместо

За gzip данные с заголовком gzip вы можете использовать gzip модуль напрямую; но, пожалуйста, помните, что под капотом, gzip использования zlib,

fh = gzip.open('abc.gz', 'rb')
cdata = fh.read()
fh.close()
Источник

Структура zlib и gzip различна. zlib использует RFC 1950, а gzip использует RFC 1952, поэтому имеют разные заголовки, но остальные имеют ту же структуру и следуют RFC 1951.

Источник

Node.js

const { gunzip } = require('zlib');

const decompressGzip = compressedData =>
  new Promise((resolve, reject) => {
    gunzip(compressedData, (error, decompressedData) => {
      if (error) return reject(error);
      return resolve(decompressedData);
    });
  });

module.exports = { decompressGzip };

Вы устанавливаете zlib используя пряжу

yarn add zlib
Источник
Другие вопросы по тегам