Описание тега entropy
Энтропия - это мера неопределенности случайной величины.
Этот термин обычно относится к энтропии Шеннона, которая количественно определяет ожидаемую ценность информации, содержащейся в сообщении. Энтропия обычно измеряется в битах, натах или запретах. Энтропия Шеннона - это средняя непредсказуемость случайной величины, которая эквивалентна ее информационному содержанию.