Описание тега snappy
Snappy - это алгоритм сжатия байтовых потоков и библиотека, реализующая этот алгоритм. Стандартный дистрибутив включает привязки для C и C++; есть сторонние привязки для многих других языков.
0
ответов
Как использовать Snappy Compression And Decompression в hadoop
Я использую следующий код для сжатия Configuration conf = new Configuration(); conf.setBoolean("mapred.compress.map.output", true); conf.set("mapred.map.output.compression.codec","org.apache.hadoop.io.compress.SnappyCodec"); используя быстрый алгори…
21 фев '15 в 18:44
1
ответ
PDF-файл, созданный с помощью snappy, отображается плохо
Я создаю файл PDF с помощью snappy1.4, я хочу создать 2 страницы, каждая из которых разделена на 2 части (по вертикали), Я создал их: когда они пусты, это нормально, но когда я заполняю, например, часть 1 некоторыми данными, часть 2 сдвигается вниз.…
19 фев '18 в 11:00
1
ответ
Sqoop Snappy сжатия не работает
У меня есть следующий скрипт sqoop, который должен получить данные в паркет и использовать сжатие Snappy. sqoop import \ --hive-drop-import-delims \ --fields-terminated-by '\001' \ --connect '<Connection URL>' \ --query 'select * from <db_n…
26 июн '17 в 22:01
1
ответ
Как импортировать google snappy в проект C++ Eclipse
У меня есть проект Eclipse C++, и я загрузил файлы проекта google snappy ( http://google.github.io/snappy/) в eclipse. Как только я пытаюсь скомпилировать, я получаю сообщение об ошибке: fatal error: snappy-stubs-public.h: No such file or directory.…
30 сен '15 в 20:18
2
ответа
Сжатие кафки с использованием высокого уровня потребителя и простого потребителя
В моем приложении мы используем потребителя высокого уровня Kafka, который потребляет распакованные данные без каких-либо проблем, если производитель и потребитель сжимают и распаковывают данные с помощью API Java. Что произойдет, если производитель…
22 янв '15 в 15:25
1
ответ
Как скачать файл snappy.parquet с s3 с помощью Boto в Python
Я новичок в этом, и я пытаюсь загрузить файл snappy.parquet из Amazon s3, который позже могу конвертировать в файл CSV. Я попытался работать со следующим примером, который я нашел в Интернете, и я получил пустую папку. Кто-нибудь может мне помочь, п…
23 фев '18 в 18:26
8
ответов
UnsatisfiedLinkError: /tmp/snappy-1.1.4-libsnappyjava.so Ошибка загрузки общей библиотеки ld-linux-x86-64.so.2: такого файла или каталога нет
Я пытаюсь запустить приложение Kafka Streams в kubernetes. Когда я запускаю модуль, я получаю следующее исключение: Exception in thread "streams-pipe-e19c2d9a-d403-4944-8d26-0ef27ed5c057-StreamThread-1" java.lang.UnsatisfiedLinkError: /tmp/snappy-1.…
11 май '18 в 08:19
3
ответа
Является ли Snappy разделяемым или не разделяемым?
Согласно этому сообщению Cloudera, Snappy IS разделяемый. Для MapReduce, если вам нужно, чтобы сжатые данные были разделяемыми, форматы BZip2, LZO и Snappy делятся, но GZip - нет. Разделимость не относится к данным HBase. Но из полного руководства H…
03 сен '15 в 17:51
0
ответов
Snappy PDF генерирует работу со встроенным веб-сервером, но не с локальным
Я создал проект на larvel и внедрил snappy pdf generator. Я запускаю свой проект с помощью команды ремесленника, и он работает нормально. Теперь, когда я запускаю проект без команды ремесленника, как локальный / имя_папки / государственный /pdfurl т…
29 май '18 в 08:54
1
ответ
Декодированные сжатые байтовые массивы Snappy имеют завершающие нули
Я пытаюсь писать и читать сжатый байтовый массив Snappy, созданный из protobuf из файла последовательности Hadoop. Массив, считанный из hadoop, имеет конечные нули. Если байтовый массив представляет собой небольшой и простой удаляющий завершающие ну…
17 мар '16 в 22:11
0
ответов
Конфиг snappy для поддержки искры в Windows
Я работаю над импортом сжатого файла json snappy в spark rdd или набор данных. Однако я встречаю эту ошибку: java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy()Z Я установил следующую конфигурацию: SparkConf…
04 дек '17 в 03:17
1
ответ
Улей сжатия ORC
Я запускаю следующий код в hive v0.12.0 и ожидаю сжатия трех таблиц разными методами, поэтому размер и содержание файлов должны быть разными. --- Create table and compress it with ZLIB create table zzz_test_szlib stored as orc tblproperties ("orc.co…
08 май '14 в 14:57
1
ответ
Может ли snappy использоваться с Redis
После того, как я сжал данные Snappy, а затем сохранил их в Redis. Но когда я взял его из Redis, я обнаружил, что данные разные. Я не знаю почему
09 июл '18 в 09:01
1
ответ
Какая техника сжатия работает лучше при использовании таких инструментов, как datameer,presto и spark
Мы работаем над выбором лучшей техники сжатия. Мы попробовали с bzip2, но это заняло больше времени для сжатия
26 ноя '17 в 04:42
2
ответа
Можно ли загрузить файлы Avro со сжатием Snappy в BigQuery?
Я знаю, что BigQuery поддерживает загрузку файлов Avro, и я успешно загружаю файлы Avro в BigQuery. Используя команду ниже, java -jar avro-tools-1.7.7.jar fromjson --codec snappy --schema-file SourceSchema.avsc Source.json > Output.snappy.avro Я …
28 сен '16 в 06:04
1
ответ
ORC Format сканирует все таблицы в каждом запросе
Я создал свой первый стол орков в Афине. CREATE EXTERNAL TABLE `orc_test`( `hexid` string, `version` int, `ts` int, `campaignid` int, `sourceuid` string, `publisherid` string, `adslot` string, `share` double, `earn` double, `spent` double, `rebate` …
23 мар '18 в 15:05
1
ответ
_BitScanForward _BitScanForward64 отсутствует (VS2017) Snappy
Я пытаюсь скомпилировать snappy ( https://bitbucket.org/robertvazan/snappy-visual-cpp) с VS2017. Я не могу осуществить это с VS2015 также; - Я пробовал в командной строке (msbuild) и через визуальную студию IDE; он не может распознавать как _BitScan…
26 фев '18 в 23:13
1
ответ
Ошибка при чтении сжатого файла Snappy
Я читаю Snappy Compressed file от местного до java, File snappyFile = new File(fileName); Configuration conf = new Configuration(); CompressionCodec codec = (CompressionCodec) ReflectionUtils.newInstance(SnappyCodec.class, conf); FileInputStream is2…
23 апр '15 в 11:09
0
ответов
Spark Streaming сохранение данных кадра не удается
Я использую Spark 2.2 для записи в Redshift на кластере AWS, и он не работает с приведенной ниже ошибкой. Я использую CDH 5.10 и Scala 2.11.8. Любые идеи о том, как это исправить? Это пропускает мгновенную зависимость? WARN TaskSetManager:66 - Lost …
28 сен '17 в 05:48
0
ответов
PHP: wkhtmltopdf snappy (обертка) не работает
У меня проблема с использованием wkhtmltopdf с snappy. Я установил wkhtmltopdf с homebrew на Mac OSX. Я использую этот код для отображения PDF в браузере: <?php header('Content-Type: application/pdf'); header('Content-Disposition: attachment; fil…
13 фев '14 в 07:26