4. Измерение информации. Содержательный подход

Измерение информации. Содержательный подход
Клод Шеннон
1916–2001 гг.
Информативность сообщения характеризуется содержащейся в нём полезной информацией — той частью сообщения, которая снимает полностью или уменьшает неопределённость какой-либо ситуации.

Является основателем теории информации, нашедшей применение в современных высокотехнологических системах связи.
Внёс огромный вклад в теорию вероятностных схем, теорию автоматов и теорию систем управления — области наук, входящие в понятие «кибернетика».
В 1948 г. предложил использовать слово «бит» для обозначения наименьшей единицы информации.
Клод Шеннон
1916–2001 гг.

Нет информации
Есть информация
Количество информации равно нулю
Количество информации не равно нулю
Сообщение, уменьшающее неопределённость знаний в два раза, несёт 1 бит информации.

Зачёт?
Незачёт?
Информационное сообщение об оценке за зачёт приводит к уменьшению неопределённости знания в два раза, так как получено одно из двух возможных информационных сообщений.

2
3
5
4
Информационное сообщение
об оценке за контрольную работу приводит к уменьшению неопределённости знания в четыре раза, так как получено одно из четырёх возможных информационных сообщений.

Вам необходимо угадать число из интервала от 1 до 32.
Вы задаёте вопросы, ответами на которые могут быть слова
«да» или «нет».
На каждом шаге в два раза уменьшать неопределённость знаний, т.е. задавать вопросы, делящие числовой интервал на 2.
Ответ «да» или «нет» будет содержать 1 бит информации. Подсчитав общее количество битов (ответов на вопросы), найдём количество информации, необходимое для отгадывания числа.

Вам необходимо угадать число из интервала от 1 до 32.
Вы задаёте вопросы, ответами на которые могут быть слова
«да» или «нет».
Задумано число 21.

Зачёт — незачёт
2 3 4 5
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32

— количество возможных результатов или неопределённость знаний.
— количество информации в сообщении о том, что произошло одно из N событий.

Количество информации зависит не только от возможных вариантов исхода события, но и от вероятности получения ответа.
Причём чем больше вероятность события, тем меньшее количество информации в сообщении о таком событии. Вероятность — ожидаемость события. Она измеряется
в долях (от 0 до 1) или в процентах.

Вы выходите на следующей остановке?
Да.
N = 2
N = 2i
2i = 2
i = 1

В коробке 16 карандашей разного цвета. Сколько бит информации несет сообщение о том, что достали синий карандаш?
N = 16
N = 2i
2i = 16
i = 4

Сообщение о том, что ваш знакомый живёт на 5 этаже,
несёт 3 бита информации. Сколько этажей в доме?
i =3
N = 2i
23 = 8
N = 8