Понимание концепции информационного содержания

Question

Я не изучаю информатику, но мне интересно понять концепцию информационного наполнения.

Я видел эти два примера предложений:

a) On July 5th, it was over 100°F
b) On July 5th, it was 98°F

Он сказал, что предложение b) имеет более высокое содержание информации, потому что для предложения a) существует только вероятность меньше / больше, чем для предложения b), и это бесконечное число возможностей.

Я бы согласился, что б) имеет более высокое содержание информации, но я не понимаю объяснения.

Я бы сказал, б) имеет более высокое содержание информации, потому что он точно говорит вам, какая температура была там.

Но я думаю, что мое интуитивное понимание неверно. Я бы сказал, что сообщение имеет большое информационное содержание, если оно не оставляет места для интерпретации.

a) Tomorrow, someone will visit me.
b) Tomorrow, my aunt will visit me.

Я бы спонтанно сказал, б) более информативен, потому что он точно говорит вам, кто придет в гости. Это правильно здесь?

Сформируйте мое ненаучное понимание, высокое содержание информации было бы хорошо, потому что оно оставляет вас без вопросов. Но я предполагаю, что в теории информации высокое содержание информации плохо, потому что это означает, что сообщение нуждается в большом количестве битов для кодирования, и информация не рассматривается как нечто хорошее, а просто как нечто, что должно быть передано. Это хороший способ выразить это?

Answer 1

Ваша интуиция верна: количество дополнительных бинарных вопросов, которые вам нужно задать в среднем, чтобы закрепить детали, по сути, является информационным содержанием.

Тем не менее, нет ничего хорошего или плохого в теории информации, если у вас нет цели.

Если ваша цель - сжатие сигнала, теория информации говорит, что достижимый предел определяется содержанием информации. Таким образом, в этом смысле сигнал с низким информационным содержанием является более сжимаемым (это может быть хорошо, если это то, что вы ищете).

Для канала связи вы хотите максимально использовать пропускную способность канала. Если вы не используете канал с максимальной пропускной способностью, содержание информации не будет таким высоким, как могло бы быть.

Для исправления ошибок вы хотите иметь избыточность, которая имеет такое же информационное содержание, но большее битовое представление. Наименьшее информационное содержание на символ означает отсутствие исправления ошибок, так что это плохо.