Описание тега zstd
Используйте с вопросами, связанными с библиотекой zstd. Эта библиотека представляет собой реализацию Zstandard с открытым исходным кодом, алгоритма сжатия данных без потерь, разработанного Янном Колле из Facebook.
0
ответов
Python ZSTD сжатия предел использования памяти
Я использую следующий код: from zstandard import ZstdCompressor as compressor import uuid from contextlib import ExitStack with ExitStack() as stack: for i in range(600): ctx = compressor(threads=-1) ff = stack.enter_context(open(str(i), 'wb')) cont…
02 мар '19 в 19:27
1
ответ
Как распаковать большие файлы, используя Zstd-jni и Byte Buffers
Я пытаюсь распаковать много файлов размером более 40 МБ, поскольку я загружаю их параллельно, используя ByteBuffers и Channels. Я получаю лучшую пропускную способность при использовании каналов, чем при использовании потоков, и нам нужна эта система…
23 окт '18 в 15:54
1
ответ
Является ли сжатие Zstd/Zlib биективным?
Это скорее концептуальный вопрос, но если у меня есть Файл A и Файл B, возможно ли для Compressed(A) равным Compressed(B), если A!= B. Дополнительно, если сжатые представления A и B совпадают, A и B гарантированно совпадают?
02 апр '19 в 01:51
0
ответов
Как dict(для малых данных) работает в ZSTD?
https://code.fb.com/core-data/smaller-and-faster-data-compression-with-zstandard/ https://facebook.github.io/zstd/ Дело о сжатии малых данных В моем случае это только двоичные данные, например, пакеты bmp (rgba). При нормальных настройках соотношен…
09 июл '19 в 16:56
0
ответов
Чтение паркетного файла, сжатого с помощью zstd
Я новичок в Юлии, и я пытаюсь перенести некоторые вещи, которые я сделал на Python. У меня есть файл, который я написал на Python, с DataFrame в файл паркета с использованием библиотеки сжатия zstd (поддерживается как пандами, так и fastparquet, зап…
01 авг '19 в 19:58
1
ответ
Поиск по текстовым файлам.zst
У меня есть большие zstd-сжатые текстовые файлы. Как я могу запустить быстрый поиск по ним? Могу ли я использовать AG (Серебряный поисковик) или что-то подобное? Я пробовал AG, но он не работает, у меня "ошибка загрузки": ag -z -i "term"
25 июл '19 в 12:40
1
ответ
NoneZstd : ошибка 70: ошибка записи: сломанный канал (невозможно записать декодированный блок)
Я пытаюсь через терминал Windows распаковать большое количество сжатых файлов с помощью zstd v1.4.0, а затем выполнить поиск ag: zstd -dc -r . | ag -z -i "term" Это дает мне следующую ошибку при продолжении: zstd: ошибка 70: ошибка записи: сломанн…
31 июл '19 в 13:12
1
ответ
Скажите zstdcat распаковать только первые N байтов файла
У меня есть коллекция файлов, сжатых с помощью zstandard, и я хотел бы просмотреть первые 10 мегабайт файлов без распаковки всего файла. Есть ли способ заставить zstdcat распаковать только первые N байтов файла, а не весь файл?
11 июн '19 в 17:48
1
ответ
ZStandard Compression не работает в MongoDB v4.2.7
Настроить: Я использую MongoDB v4.2.7 вместе с драйвером.Net MongoDB v2.11.0(бета v) на машине с Windows 10. Код var mongoClientSettings = new MongoClientSettings(); mongoClientSettings.Compressors = new List<CompressorConfiguration>() { new C…
08 июн '20 в 15:40
1
ответ
Как проверить, поддерживает ли установка zstd lz4?
Я установил ztsd в моей системе CentOS 7 с использованием yum install zstd. Как проверить, поддерживает ли zstd, установленный в моей системе, сжатие вlz4? Соответствующая ссылка для поддержки lz4 в zstd - https://github.com/valyala/gozstd/blob/mast…
26 фев '20 в 16:12
1
ответ
Не удалось найти ZSTD (отсутствует: ZSTD_LIBRARY ZSTD_INCLUDE_DIR)
У меня возникла проблема при установке хедптрака с CMake при запускеcmake -DCMAKE_BUILD_TYPE=Release .. в heaptrack/build -- Could NOT find ZSTD (missing: ZSTD_LIBRARY ZSTD_INCLUDE_DIR) CMake Error at 3rdparty/libbacktrace/CMakeLists.txt:160 (messag…
28 ноя '19 в 19:53
3
ответа
Производительность формата сжатия AZ64
AWS Redshift недавно выпустил собственный новый формат кодирования AZ64, для которого они говорят: По сравнению с кодировкой ZSTD, AZ64 потреблял на 5–10% меньше хранилища и был на 70% быстрее. Когда я использую ANALYZE COMPRESSION my_table Я все ещ…
21 ноя '19 в 18:12
1
ответ
Использование ZSTD с распаковкой всех файлов в данной папке
Итак, у меня есть тонна файлов, которые были сжаты с помощью ZSTD, и я потратил много времени на поиски в Интернете, пытаясь найти способ распаковать каждый файл в этом каталоге, но мне не удалось ничего найти, поэтому я хотел спросить здесь, если б…
26 янв '20 в 05:31
0
ответов
Ошибка: "Ошибка декодирования (36): несоответствие словаря" при использовании декодирования ZSTD в командной строке для декодирования файла .ZST
Я пытаюсь декодировать кучу файлов.ZST, которые я не знаю, что это был за исходный файл, чтобы я мог получить к ним доступ, однако все файлы.ZST возвращают ту же ошибку и не распаковываются. ОшибкаDecoding error (36) : Dictionary mismatch. Используе…
02 мар '20 в 00:08
0
ответов
Как я могу сжать много файлов в единый архив, но быстро извлечь только один?
У меня есть 14000 файлов размером 25 МБ, которые я пытаюсь сжать до минимального размера для хранения. Во время выполнения мне нужно будет распаковать только один или два файла. Существует достаточная внутрифайловая избыточность, чтобы они сжимались…
30 мар '20 в 01:18
5
ответов
Как сжать строку C++ с помощью Zstd?
Я новичок в C++ и хотел сжать std:string объект через Zstdбиблиотеки сжатия, но пока мне не удалось найти образец кода C++ для этой цели, выполнив поиск в Google. Я нашел пример кода C, но кажется, что они работают с массивами символов стиля C вмест…
01 сен '19 в 13:17
0
ответов
Не удается заставить zstd работать в Phoenix / Elixir в Linuxmint 18.1 Serena
Добрый день, я скачал и скомпилировал erlang 1.22 elixir 1.11 и phoenix 1.4. Я создал демонстрационное приложение (изучая фреймворк) и смог установить некоторые библиотеки postgrex, plug_cowboy и т. д. Я хотел попробовать zstd и поместил это в свой …
12 май '20 в 00:34
6
ответов
Как извлечь файлы .zst в фреймворк pandas
Я немного новичок, когда дело доходит до Python, но один из моих школьных проектов требует, чтобы я выполнял алгоритмы классификации на этом наборе данных о популярности Reddit. Файлы представляют собой огромные файлы.zst, и их можно найти здесь: ht…
06 апр '20 в 22:45
1
ответ
Распаковка файла tar.zst - почему я получаю преждевременную ошибку завершения?
Я пытался загрузить этот набор данных через свой терминал Mac. Я знаю, это огромно! https://zenodo.org/record/3606810 У меня есть файл tar.zst, и когда я пытаюсь распаковать (используя zstd -d pol_0616-1119_labeled.tar.zst), это выдает мне эту ошибк…
27 май '20 в 18:39
2
ответа
LZ4 и Zstd для Java
Есть ли лучшая библиотека сжатия Java для LZ4 и ZStd. Я пробовал использовать apache commons (это реализация zstd-jni) String fileURL = TestFileUtil.getFileURL(TestFileCategory.SMALL); String outputFileName = TestFileUtil.BASE_DIR+"/zstd-"+(Math.ran…
01 апр '20 в 18:21