Описание тега erasure-code
Код прямого исправления ошибок (FEC) для двоичного канала стирания, который преобразует сообщение из k символов в более длинное сообщение (кодовое слово) с n символами, так что исходное сообщение может быть восстановлено из подмножества n символов
1
ответ
Что такое стирание - какие 4 ограничения накладывает стирание на генерики?
Java - Что такое стирание - какие 4 ограничения накладывает стирание на генерики?
03 май '11 в 21:30
1
ответ
Создание файла кодирования Erasure HDFS
Я ищу способ создать файл (например, с помощью copyFromLocal) в Apache HDFS и установить политику кодирования Erasure в процессе. Согласно этой странице, я могу использовать hdfs ec --setPolicy -path <folder> -policy RS-6-3-1024k установить по…
13 ноя '17 в 17:26
0
ответов
Hadoop HDFS стирает кодирование небольших файлов накладных расходов
Допустим, у меня есть файл меньше, чем 1024 КБ. Если этот файл будет сохранен с использованием политики кодирования стирания RS-3-2-1024k, будут ли затраты на хранение 200%? То же самое с политикой RS-10-4-1024k, будут ли затраты на хранение 400%?
22 окт '18 в 10:20
1
ответ
Как настроить функцию кодирования стирания в hadoop3 и используется ли она для хранения холодных файлов только по умолчанию?
Согласно примечаниям к выпуску Hadoop 3.x, они ввели кодирование Erasure, чтобы преодолеть проблемы с хранилищем. Кодирование Erasure - это метод долговременного хранения данных со значительной экономией места по сравнению с репликацией. Стандартные…
18 мар '18 в 08:10
0
ответов
Как достигается пропускная способность в Hadoop3
В Hadoop3 блок репликации логичен. (будет храниться в форме битов четности с использованием EC). Так как пропускная способность управляется в Hadoop3.
02 фев '19 в 19:31
1
ответ
Обзор методов кодирования, используемых в облачных вычислениях
Я пытаюсь выполнить обзор методов кодирования, которые могут быть применены к файлу перед его сохранением в облаке. До сих пор я встречался только с механизмом кодирования стирания Рида Соломона в литературе. Мне интересно, если кто-то может указать…
19 сен '11 в 14:59
0
ответов
Кодирование стирания Hadoop 3.0: влияние на производительность заданий MR?
Я пытаюсь понять, какое влияние может оказать кодирование стирания на карту для снижения производительности заданий. Перед этим краткий обзор кодирования стирания Hadoop 3.0 с использованием метода Рида-Соломона. Если файл, разбитый на k блоков, зак…
17 май '18 в 17:52
1
ответ
Erasure Encoding с небольшим использованием ресурсов
Эй, я довольно новичок во многих концепциях кодирования стирания. Я в основном только читал о Риде-Соломоне, но он не соответствует тому, что мне нужно. Мне нужно найти технику, которая может создавать фрагменты четности на больших данных без необхо…
04 апр '17 в 17:06
1
ответ
Hadoop 3: как настроить / включить кодирование стирания?
Я пытаюсь настроить кластер Hadoop 3. Два вопроса о функции Erasure Coding: Как я могу гарантировать, что кодирование стирания включено? Нужно ли мне устанавливать коэффициент репликации на 3? Укажите соответствующие свойства конфигурации, связанные…
23 июл '18 в 09:37
0
ответов
Как использовать io.Pipe() для фрагментирования большого файла с использованием Erasure Coding через библиотеку ReedSolomon
Используя https://github.com/klauspost/reedsolomon, стереть кодирование большого файла в более мелкие куски, я хочу использовать io.Pipe() создать поток труб, который соединяет друг друга. Например: один канал, который помогает разделить файл на час…
30 авг '18 в 18:23
2
ответа
Код удаления для фрагментированного файла
Существует ли код стирания, который можно применить к нескольким фрагментам (возможно, 100 или 200, каждые несколько сотен килобайт) путем (каким-либо образом) добавления фрагментов избыточности? Я слышал о Риде-Соломоне, но, похоже, его нельзя испо…
26 окт '15 в 22:26
0
ответов
Использование библиотеки ReedSolomon для стирания кода файла
Использование [ReedSolomon JavaScript Library][1] для удаления кода локального файла дает мне следующую ошибку: shardSize 5432 bufferoffset 0 bufferSize 5432 paritysize 10864 sources 3 targets 12 /Users/nidhisharma/client-sdk/Node/0chain_sdk/encode.…
27 сен '18 в 22:53
0
ответов
Кодирование стирания Hadoop 3.0: влияние на производительность чтения файлов?
Я пытаюсь понять, какое влияние может оказать кодирование стирания на производительность чтения файла. Перед этим краткий обзор кодирования стирания Hadoop 3.0 с использованием метода Рида-Соломона. Если файл, разбитый на k блоков, закодирован в p б…
17 май '18 в 19:29
0
ответов
Как использовать библиотеку Рономона Рида-Соломона для разбиения файла на куски
Я пытаюсь использовать JavaScript-библиотеку Ronomon/Reed-Solomon, я хочу разбивать файлы на группы по количеству фрагментов данных и фрагментов четности. Любой пример, демонстрирующий использование ReedSolomon.encode, поможет мне. Мой код, как пока…
26 сен '18 в 22:03
0
ответов
Профиль Ceph Erasure с чем-либо большим, чем k=4, m=2 (6 дисков) приводит к тому, что PG будут зависать при создании + неполное состояние навсегда
Таким образом, мои пулы имеют 5 узлов с 12 OSD каждый из 8 ТБ. В настоящее время я пытаюсь создать пул с кодированием стирания k=8 m=2, однако после добавления этого профиля и создания ecpool с этим профилем пулы всегда застревают при создании + неп…
11 янв '19 в 00:18
1
ответ
Кодирование стирания Hadoop 3.0 - определение количества допустимых отказов узлов?
В hadoop 2.0 коэффициент репликации по умолчанию равен 3. А допустимое количество отказов узлов составляет 3-1=2. Таким образом, на кластере из 100 узлов, если файл был разделен, скажем, на 10 частей (блоков), с коэффициентом репликации 3, общее кол…
17 май '18 в 14:19
0
ответов
Можно ли использовать Raft для 2 реплик и кода Erasure?
Плот всегда требует как минимум 3 участника и может терпеть отказ 1 узла. Однако в некоторых случаях необходимы только 2 реплики, и мы хотим допустить сбой 1 узла. Это возможно? А как Raft можно использовать для Erasure Code?
09 май '19 в 02:11
0
ответов
Как исправить ошибки и стирания при передаче данных?
Я пытаюсь построить модем, используя JavaScript. Текст, который я хочу отправить, преобразуется в ASCII (шестнадцатеричный) и кодируется в звук с использованием FSK, поэтому я использую 16 различных частот для шестнадцатеричных чисел. Иногда это раб…
08 авг '19 в 16:25
1
ответ
SeaweedFS EC и холодные данные
Во время тестирования seaweedfs начали появляться вопросы. Вы можете мне объяснить, что такое горячие, теплые и холодные данные в логике seaweedfs?И второй вопрос по поводу erasurecoding: работает ли оно только с теплыми данными? Нельзя использовать…
03 июн '20 в 10:36
1
ответ
ceph active+ предупреждение о низком размере
Настраивать: Кластер из 6 узлов с 3 хостами по 12 жестких дисков OSD на каждом (всего 36) и другими 3 хостами с 24 SSD-дисками на каждом (всего 72). 2 пула кода стирания, который занимает 100% данных, один для класса ssd, а другой для класса hdd. # …
13 янв '21 в 03:52