Описание тега zstandard
Алгоритм и программное обеспечение сжатия в реальном времени.
1
ответ
Как ZSTD сжать кусок байтов из входного файла?
Не хватает примера на сжатие ZSTD. Я использую zstandard 0.8.1, пытаясь сжать 2 байта за раз. Наткнулся на https://anaconda.org/rolando/zstandard по использованию write_to(fh), но не уверен, как его использовать. Ниже мой частичный код пытается проч…
11 янв '18 в 08:45
0
ответов
Python ZSTD сжатия предел использования памяти
Я использую следующий код: from zstandard import ZstdCompressor as compressor import uuid from contextlib import ExitStack with ExitStack() as stack: for i in range(600): ctx = compressor(threads=-1) ff = stack.enter_context(open(str(i), 'wb')) cont…
02 мар '19 в 19:27
1
ответ
zstd compressobj() не работает в python 0.8.1?
Все еще очень новый, чтобы использовать этот модуль Python, ZSTD 0.8.1. Я сделал тестовый прогон на следующем, import zstd cctx = zstd.ZstdCompressor() zstd_data = cctx.compress(b'aaaaa') len(zstd_data) Out[34]: 14 #this is my output Однако когда я …
27 фев '18 в 07:10
1
ответ
Сделайте сжатые файлы zstd "rsyncable", как это делает gzip с опцией --rsyncable
Есть ли способ сделать сжатые файлы zstd "rsyncable", как это делает gzip с --rsyncable вариант? Я попытался разбить входные файлы на куски фиксированной длины и сжать их по отдельности, но не повезло. О --rsyncable опция: Когда вы синхронизируете с…
03 янв '18 в 16:56
1
ответ
Распаковка не работает для собственного файла
Я действительно плохо знаком с языком программирования Python и столкнулся с проблемой с модулем zstandard. В настоящее время я работаю с повторными файлами Halite. Так как они сжаты с zstandard, я должен использовать этот модуль. И если я читаю фай…
27 фев '18 в 18:12
1
ответ
Чтение Zstandard-сжатого файла в Spark 2.3.0
Apache Spark предположительно поддерживает алгоритм сжатия Zstandard от Facebook начиная с версии Spark 2.3.0 ( https://issues.apache.org/jira/browse/SPARK-19112), но на самом деле я не могу прочитать сжатый Zstandard файл: $ spark-shell ... // Shor…
15 июн '18 в 02:16
0
ответов
Как распаковать файл zstd в python?
Как мне распаковать файл zstd в Windows или с помощью Python?
09 мар '19 в 02:49
1
ответ
Как распаковать файлы lzma2 (.xz) и zstd (.zst) в папку с помощью Python 3?
Я давно работаю с .bz2 файлы. Распаковать / распаковать .bz2 файлы в определенную папку, я использовал следующую функцию: destination_folder = 'unpacked/' def decompress_bz2_to_folder(input_file): unpackedfile = bz2.BZ2File(input_file) data = unpack…
15 мар '19 в 13:59
0
ответов
Как dict(для малых данных) работает в ZSTD?
https://code.fb.com/core-data/smaller-and-faster-data-compression-with-zstandard/ https://facebook.github.io/zstd/ Дело о сжатии малых данных В моем случае это только двоичные данные, например, пакеты bmp (rgba). При нормальных настройках соотношен…
09 июл '19 в 16:56
1
ответ
NoneZstd : ошибка 70: ошибка записи: сломанный канал (невозможно записать декодированный блок)
Я пытаюсь через терминал Windows распаковать большое количество сжатых файлов с помощью zstd v1.4.0, а затем выполнить поиск ag: zstd -dc -r . | ag -z -i "term" Это дает мне следующую ошибку при продолжении: zstd: ошибка 70: ошибка записи: сломанн…
31 июл '19 в 13:12
1
ответ
ZStandard Compression не работает в MongoDB v4.2.7
Настроить: Я использую MongoDB v4.2.7 вместе с драйвером.Net MongoDB v2.11.0(бета v) на машине с Windows 10. Код var mongoClientSettings = new MongoClientSettings(); mongoClientSettings.Compressors = new List<CompressorConfiguration>() { new C…
08 июн '20 в 15:40
1
ответ
Как проверить, поддерживает ли установка zstd lz4?
Я установил ztsd в моей системе CentOS 7 с использованием yum install zstd. Как проверить, поддерживает ли zstd, установленный в моей системе, сжатие вlz4? Соответствующая ссылка для поддержки lz4 в zstd - https://github.com/valyala/gozstd/blob/mast…
26 фев '20 в 16:12
0
ответов
Zстандартные уровни в hadoop
Уровень сжатия в org.apache.hadoop.io.compress.zstd.ZStandardCompressor не работает. Я вижу, как функция сброса вызывается в конструкторе ZStandardCompressor, который выполняет вызов init(level, stream) для вызова собственной функции, которая, как я…
12 окт '19 в 12:25
0
ответов
Ошибка: "Ошибка декодирования (36): несоответствие словаря" при использовании декодирования ZSTD в командной строке для декодирования файла .ZST
Я пытаюсь декодировать кучу файлов.ZST, которые я не знаю, что это был за исходный файл, чтобы я мог получить к ним доступ, однако все файлы.ZST возвращают ту же ошибку и не распаковываются. ОшибкаDecoding error (36) : Dictionary mismatch. Используе…
02 мар '20 в 00:08
3
ответа
Как сжать паркетный файл с помощью zstandard с помощью pandas
Я использую pandas для преобразования фреймов данных в файлы.parquet с помощью этой команды: df.to_parquet(file_name, engine='pyarrow', compression='gzip') Мне нужно использовать zstandard в качестве алгоритма сжатия, но приведенная выше функция при…
28 окт '19 в 19:54
1
ответ
Распаковка больших файлов zst
У меня есть сжатый zst-файл размером 16 ГБ. как мне распаковать его в окнах? У меня нет памяти для обработки распакованной версии, поэтому ее нужно записать прямо в файл.
10 янв '20 в 07:56
1
ответ
Если вы потеряете обученный словарь для архива ZST, можете ли вы его распаковать?
Я вижу, что у вас может быть обученный образец для определенных типов файлов, чтобы увеличить степень сжатия. Если вы потеряете этот словарь, сможете ли вы распаковать архив или он существенно поврежден?
10 июн '20 в 15:54
1
ответ
Распаковка файла tar.zst - почему я получаю преждевременную ошибку завершения?
Я пытался загрузить этот набор данных через свой терминал Mac. Я знаю, это огромно! https://zenodo.org/record/3606810 У меня есть файл tar.zst, и когда я пытаюсь распаковать (используя zstd -d pol_0616-1119_labeled.tar.zst), это выдает мне эту ошибк…
27 май '20 в 18:39
1
ответ
Предупреждения при сборке Ракудо в Windows
Я следовал инструкциям по сборке Rakudo здесь. С похожим чтением здесь и здесь я попытался создать его в Windows с помощью VS-2019. Однако при строительстве Rakudo в windows я получаю следующие предупреждения сборки: Updating submodules ............…
01 июн '20 в 20:06
1
ответ
Использование zstandard для сжатия файла в Python
Так что я использую zstandard python, и я написал вспомогательный класс и функцию для использования контекстов для распаковки файлов. class ZstdReader: def __init__(self, filename): self.filename = filename def __enter__(self): self.f = open(self.fi…
22 окт '20 в 21:23