Описание тега stream-compaction

Вопросы с тегом
1 ответ

Есть ли в git концепция сжатия журналов?

Система контроля версий git- это своего рода распределенный журнал (с некоторыми концептуальными сходствами с протоколом консенсуса на плоту). Raft и некоторые другие системы имеют концепцию сжатия журналов, поэтому новым клиентам не нужно просматри…
07 май '16 в 01:58
1 ответ

Как сжать или сжать строку в Python

Я делаю "скрипт" Python, который отправляет строку в веб-сервис (в C#). Мне нужно сжать или сжать эту строку, потому что данные о пропускной способности и МБ ограничены (да, в столицах, потому что они очень ограничены). Я думал о преобразовании его …
24 мар '15 в 21:21
0 ответов

HIVE 3.1 - автоматическое крупное уплотнение, запускаемое только один раз на раздел

У меня есть таблица кустов с включенной кислотой, с разделением на сегменты, в которую я пишу с помощью потокового клиента. Я вижу, что несколько дельта-файлов создаются, когда записи записываются в разделы. Я хотел включить автоматическое сжатие и …
08 ноя '18 в 15:56
1 ответ

Проблема барьера сжатия параллельного буфера OpenCL

Как школьный проект, мы работаем над параллельным raytracer с OpenCL. Это наш первый проект, использующий OpenCL, поэтому у нас могут быть некоторые непонимания по этому поводу. Мы пытаемся реализовать параллельное сжатие буфера для удаления готовых…
21 мар '18 в 21:56
5 ответов

Как проверить, работает ли сжатие журналов в Kafka?

Я внес изменения в файл server.properties в Kafka 0.8.1.1, т.е. добавил log.cleaner.enable=true а также включен cleanup.policy=compact при создании темы. Теперь, когда я тестирую его, я отправил следующие сообщения в тему со следующим (Ключ, Сообщен…
15 дек '15 в 05:19
1 ответ

Как сохранить большие массивы логических значений в файле с самым легким размером?

Моя программа производит большие массивы, заполненные логическими значениями. Мне нужен самый компактный способ сохранить их в файл. Я прочитал здесь http://www.kirupa.com/forum/showthread.php?339670-How-is-boolean-represented-in-memory что 8 логиче…
16 июн '13 в 07:25
0 ответов

Проблема с уплотнением массива CUDA с использованием thrust zip_iterator

У меня непонятная ошибка при попытке сжать несколько массивов CUDA с помощью итератора thrust zip. Мой случай прост: у меня есть целые числа thrust::vector, указывающие состояние объекта, и шесть векторов с плавающей точкой, указывающие положение и …
17 июн '14 в 06:22
0 ответов

Кодирование против сжатия против сжатия

В чем разница между тремя, кодирование и сжатие ощущаются как одно и то же. Например Дельта-кодирование списка целых чисел приводит к сжатому представлению набора, поэтому это просто кодирование или сжатие? Также разница в сжатии против сжатия?
19 сен '18 в 15:02
1 ответ

Тяга удалить копию уникальным ключом

Я немного запутался в том, как сделать следующее: Скажем, у меня есть следующие отсортированные пары ключ-значение (K:V) (0: .5)(0: .7)(0: .9) (1: .2) (1: .6) (1: .8) и так далее.. Я хочу удалить копию минимального значения каждого ключа, чтобы у ме…
10 мар '15 в 03:44
1 ответ

Сжатие потока в ядре cuda для поддержки очереди с приоритетами

Я ищу стратегию оптимизации для моей программы cuda. На каждой итерации внутри цикла for моего ядра каждый поток производит оценку. Я поддерживаю общую приоритетную очередь результатов, чтобы поддерживать топ-k из них на блок. Пожалуйста, смотрите п…
10 фев '14 в 10:08
0 ответов

Hive 3.1 Дельта-файлы ACID - Незначительное автоматическое уплотнение не запущено

У меня есть таблица кустов с включенной кислотой, с разделением на сегменты, в которую я пишу с помощью потокового клиента. Я вижу, что несколько дельта-файлов создаются, когда записи записываются в разделы. Я хотел включить автоматическое сжатие и …
07 ноя '18 в 20:15
1 ответ

Понимание конечного значения в алгоритме сжатия потока

Что должно произойти с окончательным значением эксклюзивного сканирования в алгоритме сжатия потока? Это пример для выбора всех символов "А". Последовательность А: Input: A B B A A B B A Selection: 1 0 0 1 1 0 0 1 Scan: 0 1 1 1 2 3 3 3 0 - A 1 - A 2…
05 фев '13 в 20:43
1 ответ

Потоковое сжатие и преобразование на основе индекса в CUDA

У меня есть массив float на моем устройстве, и я хотел бы выполнить операцию сжатия stram (как представлено здесь: http://http.developer.nvidia.com/GPUGems3/gpugems3_ch39.html), а затем применить преобразование на основе на значение и адрес или ориг…
14 янв '16 в 13:00
1 ответ

Сжатие потока (или упаковка в массив) с префиксным сканированием с использованием Openmp

Я использую openmp для распараллеливания моего кода. У меня есть оригинальный массив: A=[3,5,2,5,7,9,-4,6,7,-3,1,7,6,8,-1,2] и массив меток: M=[1,0,1,0,0,0,1,0,0,1,1,0,0,0,1,1] используя массив M, я могу сжать мой оригинальный массив в этот упакован…
05 ноя '14 в 12:43
2 ответа

Что делает Кассандра во время уплотнения?

Я знаю, что Кассандра объединяет sstables, ключи строк, удаляет надгробную плиту и все. Но мне действительно интересно знать, как он выполняет уплотнение? Поскольку sstables являются неизменными, копирует ли он все соответствующие данные в новый фай…
03 окт '11 в 09:17
1 ответ

Сжатие файла журнала JSON

Имеется файл с записями JSON с разделителями строк: {"id": 1, "position": 1234} {"id": 2, "position": 23} {"id": 3, "position": 43} {"id": 1, "position": 223} Я хотел бы сжать такой файл, сохраняя только последнюю запись для идентификатора, например…
01 июн '15 в 13:58
2 ответа

Тяга: удаление дубликатов в массивах ключ-значение

У меня есть пара массивов одинакового размера, я буду называть их ключами и значениями. Например: K: V 1: 99 1: 100 1: 100 1: 100 1: 103 2: 103 2: 105 3: 45 3: 67 Ключи отсортированы, а значения, связанные с каждым ключом, отсортированы. Как удалить…
02 апр '11 в 04:12
1 ответ

Очистка и воссоединение одного и того же узла в кластере кассандры

У нас есть кластер Cassandra-0.8.2 из 24 узлов и коэффициент репликации 2 . Один из узлов работает довольно медленно, и большинство sstables на этом узле повреждены (мы не можем выполнять сжатие и даже не чистить) Так возможно ли очистить каталоги д…
14 мар '12 в 07:14
1 ответ

Повышение эффективности Compact/Scatter в CUDA

Резюме: Любые идеи о том, как улучшить базовую операцию разброса в CUDA? Особенно, если знать, что он будет использоваться только для сжатия большего массива в меньший? или почему не работают приведенные ниже методы векторизации операций памяти и ра…
08 мар '15 в 07:33
1 ответ

Эффективный способ преобразования индексов рассеяния в индексы сбора?

Я пытаюсь написать сжатие потока (взять массив и избавиться от пустых элементов) с внутренними SIMD. Каждая итерация цикла обрабатывает 8 элементов одновременно (ширина SIMD). Благодаря встроенным функциям SSE я могу сделать это довольно эффективно …
07 июн '11 в 19:36