Описание тега lz4
LZ4 - это алгоритм сжатия данных без потерь, ориентированный на скорость сжатия и распаковки.
0
ответов
Как указать использовать lz4 для сжатия
Итак, мне нужно создать образ TWRP, но мне нужно указать на него, чтобы использовать lz4 вместо формата gzip. Как это сделать, я думаю, это должно быть в boardconfing.mk под BOARD_MKBOOTIMG_ARGS?
22 сен '17 в 23:24
1
ответ
Как я могу улучшить мой метод парсинга lz4 сжатого json?
Я анализирую очень большие (от 5 ГБ до 2 ТБ) сжатые файлы JSON и сохраняю некоторые данные в файлы CSV с помощью приведенного ниже алгоритма. Это работает, но является противоположностью эффективности из-за наличия трех вложенных циклов. Я также не …
11 окт '18 в 19:03
0
ответов
Сжатие без потерь с python-lz4
Я пытаюсь понять документацию Python-lz4 относительно сжатия и распаковки файлов. Я проверил документацию, но есть где-то, я не понимаю все правильно. Глядя на пример в документации ниже: у меня должен быть файл, который я хочу сжать, который должен…
06 июн '18 в 06:30
0
ответов
Jetty 9 со сжатием lz4
На данный момент я встроил Jetty 9 со сжатием gzip по умолчанию, который может обрабатывать 65 МБ текстовых данных, сжатых в 4,6 МБ. Это очень быстро, когда данные передаются сразу. Однако производительность сильно падает, когда текстовые данные пер…
24 июл '17 в 09:56
1
ответ
Декодирование вывода LZ4 из iOS сжатия_encode_buffer
У меня есть приложение для iOS, сжимающее кучу маленьких кусочков данных. Я использую compress_encode_buffer, работающий в режиме LZ4, чтобы сделать это достаточно быстрым для моих нужд. Позже я беру файлы, которые я сделал, и декодирую их на устрой…
13 мар '17 в 02:11
1
ответ
Распаковка капли LZ4 с помощью Perl
У меня есть таблица в базе данных SQLite, в которой хранятся капли, сжатые по алгоритму LZ4. Я пытаюсь использовать функции распаковки / распаковки из Compress::LZ4, но безуспешно. Образец базы данных SQLite можно скачать здесь. Вот как я подключаюс…
25 дек '15 в 08:45
0
ответов
Как принудительно сжать iOS lib в LZ4 в одном блоке?
Я хотел бы сжать буфер, размер которого превышает 64 КБ, только в одном блоке. В настоящее время я использую сжатие lib для сжатия / распаковки LZ4, который отлично работает с буфером размером менее 64 КБ. При условии, что я удалил дополнительный за…
23 фев '18 в 21:06
1
ответ
Python: подпроцесс не работает в crontab
extract.py: def extract_lz4(lz4_path): status = subprocess.call(["lz4", "-df", lz4_path], stderr=subprocess.STDOUT) log.info("In Extract fun STATUS : {}".format(status)) if not status: log.info("Extract Successful of {}".format(lz4_path)) return sta…
18 июн '18 в 12:12
0
ответов
Ошибка компиляции Windows при установке pip из-за неверных флагов команд
Я пытался установить пакет lz4 на мою Windows-машину из PyPi, используя pip. Этот пакет не имеет загруженных колес, поэтому он должен был скомпилировать исходный код локально. У меня установлен компилятор Visual C++ для Python. Я побежал: pip instal…
08 мар '16 в 08:53
1
ответ
Сжатие Lz4 не разделяется
Я использую сжатие lz4 и записываю данные в таблицу кустов, эта таблица содержит 20 файлов, каждый из которых имеет размер 15 ГБ в HDFS, и каждое имя файла в этой таблице заканчивается lz4, например: part-m-00000.lz4, Когда я бегу select count(1) из…
27 фев '19 в 13:08
0
ответов
Как читать файлы журнала Spark? .Iz4 или.snappy
Я хочу прочитать некоторые журналы, но не могу. Пока что я пробовал: hadoop fs -text <file> Но единственное, что я получаю, это: INFO compress.CodecPool: Got brand-new decompressor [.lz4] (то же самое для.snappy) val rawRdd = spark.sparkContex…
23 янв '19 в 14:58
4
ответа
Как использовать tar с lz4?
Как использовать tar и отфильтровать архив через LZ4? Или какие-нибудь доступные инструменты? Это выглядит громоздким в использовании tar cvf folderABC.tar folderABC && lz4c -c0 folderABC.tar, PS: * окружение nix
05 июн '14 в 15:10
1
ответ
Объясните пример двойного буфера lz4
В примерах lz4 есть один с именем doublebuffer " https://github.com/Cyan4973/lz4/blob/master/examples/blockStreaming_doubleBuffer.c". Это использует char inpBuf[2][BLOCK_BYTES] во время цикла чтения-сжатия и использует inpBuf[0][], inpBuf[1][] попер…
17 фев '15 в 13:38
1
ответ
Чтение сжатого текстового файла LZ4 (mozlz4) в WebExtensions (JavaScript, Firefox)
Я портирую расширение SDK для Firefox на WebExtensions. Раньше я мог получить доступ к поисковым системам браузера, но теперь не могу, поэтому полезный пользователь посоветовал мне попробовать прочитать файл search.json.mozlz4, в котором есть все ус…
09 сен '17 в 11:09
0
ответов
Проблема с выходом filebeat kafka сжатия lz4
Я пытаюсь настроить filebeat (6.2) с выводом kafka, используя сжатие lz4, но всегда получаю ошибку как ERR Invalid kafka configuration: kafka: invalid configuration (lz4 compression requires Version >= V0_10_0_0) Моя выходная конфигурация: output…
19 фев '18 в 11:04
1
ответ
Не может распаковать lz4 байт в питоне
import redis import lz4framed class TestWXRedis(unittest.TestCase): def test_t(self): r=redis.StrictRedis(host=xxx, port=xxxx) result = r.hget("xxxxx","xxxx") print(result) print(lz4framed.decompress(result)) вывод результата: b'\xba\x00\x00\x00\xf0…
21 мар '18 в 11:53
1
ответ
Распаковка сжатых данных LZ4 в Spark
У меня есть сжатые данные LZ4 в HDFS, и я пытаюсь распаковать их в Apache Spark в RDD. Насколько я могу сказать, единственный метод в JavaSparkContext читать данные из HDFS - это textFile который читает только данные, как в HDFS. Я наткнулся на стат…
27 июл '14 в 21:10
1
ответ
Будет ли хорошей идеей реализовать алгоритм сжатия в соответствии с моим шаблоном данных?
У меня есть некоторые данные для сжатия, теперь я знаю об избыточности и структуре данных, но стандартные алгоритмы, такие как lz4, не знают о шаблоне данных, поэтому они могут сжимать мои данные лучше, или я делаю это лучше, потому что мой алгоритм…
13 июл '16 в 15:31
1
ответ
LZ4: сжатие форматов сжатых изображений
Я использую компрессор LZ4 C lib. Некоторые из файлов, которые я сжимаю, - это JPG и PNG. По какой-то причине, которую я не понимаю, метод int compressedSize = LZ4_compress_default((char*)data, compressedData, uncompressedSize, uncompressedSize); Ин…
27 дек '16 в 14:05
0
ответов
Библиотека python для чтения сжатых файлов lz4/4mc
У меня есть файл, сжатый с 4mc ( https://github.com/carlomedas/4mc). Существует ли какая-либо библиотека Python для чтения сжатых файлов 4mc? Я знаю, что могу использовать клиент 4mc для отслеживания файла и изменения программы для чтения из stdin. …
18 июн '16 в 18:28