Python ZSTD сжатия предел использования памяти
Я использую следующий код:
from zstandard import ZstdCompressor as compressor
import uuid
from contextlib import ExitStack
with ExitStack() as stack:
for i in range(600):
ctx = compressor(threads=-1)
ff = stack.enter_context(open(str(i), 'wb'))
context = stack.enter_context(ctx.stream_writer(ff))
hashes = 10000
for j in range(hashes):
context.write(str(uuid.uuid4()).encode())
Как я увеличиваю размер hashes
также увеличивается использование памяти, что не является обычным поведением (если сравнивать с gzip, использующим буфер фиксированного размера), это так же, как с zstd, или я его неправильно использую?