Описание тега information-theory

Вопросы с тегом
Теория информации - это раздел прикладной математики, электротехники и информатики, связанный с количественной оценкой информации.
2 ответа

Расчет взаимной информации в R

У меня проблемы с интерпретацией результатов mi.plugin() (или же mi.empirical()) функция из пакета энтропии. Насколько я понимаю, MI=0 говорит вам, что две переменные, которые вы сравниваете, полностью независимы; и когда MI увеличивается, связь меж…
11 сен '14 в 15:02
2 ответа

Кросс-энтропия всегда больше энтропии?

Я пытаюсь понять, как кросс-энтропия используется для определения потерь в задачах классификации. Я довольно озадачен утверждением в Википедии о том, что перекрестная энтропия всегда больше энтропии. Я придумал очень простое распределение p(действит…
18 окт '18 в 13:24
1 ответ

Понимание концепции информационного содержания

Я не изучаю информатику, но мне интересно понять концепцию информационного наполнения. Я видел эти два примера предложений: a) On July 5th, it was over 100°F b) On July 5th, it was 98°F Он сказал, что предложение b) имеет более высокое содержание ин…
17 фев '16 в 11:18
1 ответ

Расчет энтропии Шеннона

У меня есть распределение вероятностей, которое определяет вероятность появления n возможные состояния. Я хотел бы вычислить значение энтропии Шеннона в битах заданного распределения вероятности. Могу ли я использовать wentropy(x,'shannon') получить…
27 фев '14 в 16:48
2 ответа

Что самое большее, что GZIP или DEFLATE может увеличить размер файла?

Хорошо известно, что GZIP или DEFLATE (или любой другой механизм сжатия) могут иногда увеличивать размер файла. Существует ли максимальный (в процентах или постоянный) размер файла, который можно увеличить? Что это? Если файл имеет размер X байт, и …
09 май '14 в 18:12
1 ответ

Информационная матрица Фишера

Можно ли рассчитать информационную матрицу Фишера для любой матрицы? Я делаю свою работу в области обработки изображений для идентификации лица. Как я могу рассчитать информационную матрицу Фишера на моем входном изображении (которая действительно я…
13 апр '17 в 04:33
1 ответ

Минимальная длина описания и кодирование Хаффмана для двух символов?

Меня смущает толкование минимальной длины описания алфавита из двух символов. Чтобы быть более конкретным, предположим, что мы хотим закодировать двоичную строку, где 1 встречаются с вероятностью 0,80; например, вот строка длиной 40 с 32 1 и 8 0: 1 …
18 сен '15 в 14:23
1 ответ

Содержимое информации в Python для набора данных с действительными числами

Этот вопрос дополняет предыдущий вопрос. Мне нужно вычислить информационное содержимое из двух списков Python. Эти списки содержат реальные цифры. Я понимаю, что могу использовать следующую формулу, где вероятности вычисляются из гистограмм списка. …
16 апр '17 в 12:45
2 ответа

Марковская энтропия при вероятностях неравномерных

Я думал об информационной энтропии с точки зрения уравнения Маркова: H = -SUM (p (i) lg (p (i)), где lg - логарифм основания 2. Это предполагает, что все выборы у меня имеют равную вероятность. Но что, если вероятность в данном наборе вариантов нера…
24 май '12 в 12:38
1 ответ

Непрерывная взаимная информация в Python

[Frontmatter] (пропустите это, если вы просто хотите вопрос): В настоящее время я рассматриваю использование взаимной информации Шеннона-Уивера и нормализованной избыточности для измерения степени маскировки информации между пакетами дискретных и не…
02 дек '11 в 21:45
6 ответов

Теория: Алгоритм сжатия, который делает некоторые файлы меньше, но не больше?

Я сталкивался с этим вопросом; "Алгоритм сжатия без потерь гарантирует, что некоторые файлы будут меньше, а файлов больше не будет. Это; а) невозможно б) возможно, но может работать неопределенное количество времени, c) Возможно для коэффициента сжа…
03 окт '09 в 11:57
1 ответ

Устранение Гаусса-Джордана над GF(2)

Мне нужно преобразовать матрицу проверки на четность H (который состоит только из единиц и нулей) от нестандартной до стандартной формы, то есть выразить это как: Hsys = [A | I] H а также Hsys разделить одно и то же измерение: (n-k,n), I Выше соотве…
10 июн '17 в 08:55
1 ответ

Энтропия Шеннона для не равновероятного появления символов в блоке

Я пытаюсь понять концепцию энтропии Шеннона и определить длину кода. В первом случае b это массив из 5 символов. Как правило, может быть любое целое число от 1 до 8 в b, Для этого энтропия Шеннеона = NaN. clear all b = [1,3,2,6,1]; p_1 = sum(b==1)/l…
07 фев '17 в 00:35
0 ответов

DVB-S2: краткий формат LDPC

Объем Matlab включает функцию с именем dvbs2ldpcдля построения матрицы проверки на четность, которая будет использоваться на этапе кодирования LDPC в стандарте DVB-S2. Этот стандарт учитывает два разных режима передачи (КОРОТКИЙ и НОРМАЛЬНЫЙ), в зав…
28 окт '17 в 10:17
8 ответов

Как вычислить приблизительную энтропию битовой строки?

Есть ли стандартный способ сделать это? Поиск в Google - "примерные биты энтропии" - раскрывает несколько научных статей, но я хотел бы просто найти кусок псевдокода, определяющего приблизительную энтропию для данной строки битов произвольной длины.…
05 июн '10 в 04:35
1 ответ

Любая теория информации помогает мне кластеризовать наборы данных без визуальной проверки?

Я хочу кластеризовать огромные наборы данных, но узким местом является настройка параметров без визуальной проверки. Пример: K-means Я не должен пытаться от 1 до N кластера, если у меня есть N образцов, верно? Это слишком грубая сила. Но какой диапа…
25 янв '19 в 04:08
1 ответ

Вопросы реализации пропускной способности и энтропии канала Шеннона

Разделив фазовое пространство на Alpha разделы, он предназначен для определения того, насколько хорош этот раздел. В этом ракурсе нам нужно выяснить источник энтропии. Я много гуглил, но не смог выяснить, что такое источник энтропии. Может кто-нибуд…
20 июл '12 в 04:18
2 ответа

Расчет взаимной информации для выбора обучающего набора в Java

сценарий Я пытаюсь реализовать контролируемое обучение для набора данных в приложении Java GUI. Пользователю будет предоставлен список предметов или "отчетов" для проверки, и он будет помечать их на основе набора доступных ярлыков. Как только контро…
04 янв '10 в 21:54
1 ответ

Как эффективно рассчитать PPMI на разреженной матрице в R?

Я бы подумал, что между R пакеты text2vec, tm, quanteda, svs, qlcMatrix а также wordspace была бы функция для вычисления PPMI (положительная точечная взаимная информация) между терминами и контекстами (основанная на матрице совпадений термин-термин …
11 апр '17 в 19:18
1 ответ

Взаимная информация о MATLAB Matrix

У меня есть квадратная матрица, которая представляет частоту встречаемости в наборе данных. Другими словами, строки представляют все возможные наблюдения объекта 1, а столбцы - возможные наблюдения объекта 2. Число в ячейке (x, y) - это число раз, к…
27 май '11 в 21:44