Измерение информации. Формула вычисления количества информации

Задание № 1. Определите количество информации с позиции «информативно» или «не информативно».
Столица России – Москва
Сумма квадратов катетов равна квадрату гипотенузы
Эйфелева башня имеет высоту 300 метров и вес 9000 тонн
Дифракцией света называется совокупность явлений, которые обусловлены волновой природой света и наблюдаются при его распространении в среде с резко выраженной оптической неоднородностью

Для человека информация — это знания человека.
Получение новой информации приводит к расширению знаний. Если некоторое сообщение приводит к уменьшению неопределенности нашего знания, то можно говорить, что такое сообщение содержит информацию.
Отсюда следует вывод, что сообщение информативно (т.е. содержит ненулевую информацию), если оно пополняет знания человека.

Информативность сообщения
Но для того чтобы сообщение было информативно оно должно еще быть понятно.
Получение всяких знаний должно идти от простого к сложному. И тогда каждое новое сообщение будет в то же время понятным, а значит, будет нести информацию для человека.
Сообщение несет информацию для человека, если содержащиеся в нем сведения являются для него новыми и понятными.
Количество информации – мера уменьшения неопределенности знания при получении информационного сообщения

Единица измерения информации
Единица измерения информации была определена в науке, которая называется теорией информации. Эта единица носит название «бит». Ее определение звучит так:
Сообщение, уменьшающее неопределенность знаний в два раза, несет 1 бит информации.
Неопределенность знаний о некотором событии — это количество возможных результатов события.

Пример:
После сдачи зачета или выполнения контрольной работы ученик мучается неопределенностью, он не знает, какую оценку получил.
«Зачет», «незачет»? «2», «3», «4» или «5»?
Наконец, учитель объявляет результаты, и он получаете одно из двух информационных сообщений: «зачет» или «незачет», а после контрольной работы одно из четырех информационных сообщений: «2», «3», «4» или «5».
Информационное сообщение об оценке за зачет приводит к уменьшению неопределенности знания в два раза, так как получено одно из двух возможных информационных сообщений. Информационное сообщение об оценке за контрольную работу приводит к уменьшению неопределенности знания в четыре раза, так как получено одно из четырех возможных информационных сообщений.

Пример:
На книжном стеллаже восемь полок. Книга может быть поставлена на любую из них. Сколько информации содержит сообщение о том, где находится книга?
Задаем вопросы:
- Книга лежит выше четвертой полки?
- Нет.
- Книга лежит ниже третьей полки?
- Да .
- Книга — на второй полке?
- Нет.
- Ну теперь все ясно! Книга лежит на первой полке!
Каждый ответ уменьшал неопределенность в два раза.
Всего было задано три вопроса. Значит набрано 3 бита информации. И если бы сразу было сказано, что книга лежит на первой полке, то этим сообщением были бы переданы те же 3 бита информации.

Формула вычисления кол-ва информации
Если обозначить возможное количество событий, или, другими словами, неопределенность знаний N, а буквой I количество информации в сообщении о том, что произошло одно из N событий, то можно записать формулу:
2I = N
Количество информации, содержащееся в сообщении о том, что произошло одно из N равновероятных событий, определяется из решения показательного уравнения: 2I = N.

Задание 1:
Сколько информации содержит сообщение о том, что из колоды карт достали король пик?

Задание 1:
Сколько информации содержит сообщение о том, что из колоды карт достали король пик?
Решение:
В колоде 32 карты. В перемешенной колоде выпадение любой карты равновероятное событие.
N = 32. I - ?
2I = N
2I = 32
25 = 32
I = 5 бит

Задание 2:
Сколько информации содержит сообщение о выпадении грани с числом 3 на шестигранном игральном кубике?

Задание 2:
Сколько информации содержит сообщение о выпадении грани с числом 3 на шестигранном игральном кубике?
Решение:
N = 6. I - ?
2I = N
2I = 6
22 < 6 < 23
I = 2.58496 бит

Задание 3:
Сколько информации содержит сообщение о том, что на поле 4х4 клетки одна из клеток закрашена?
В книге 512 страниц. Сколько информации несет сообщение о том, что закладка лежит на какой-либо странице?

Задание 4:
Сколько бит информации содержит сообщение, что случайным образом выбрано одно число в диапазоне от 11 до 74 включительно?
Задумано нечётное число от 1 до 7. Сколько бит информации в сообщении о том, какое число угадано? Сколько вопросов надо задать, чтобы угадать это число?