Измерение информации. Содержательный подход

измерение информации
объёмный подход
бессмысленное
сочетание
символов
ненулевой
информационный
объём
содержательный
подход
количество
информации
содержание
полученного
сообщения
Теория информации
Клод
Шеннон
1 бит
сообщение,
уменьшающее
неопределённость
знания в 2 раза

Неопределённость знания
о результате события
Количество возможных
результатов
=
Сообщение об одном
из двух равновероятных
результатов
1 бит информации
=

Метод половинного деления
возможные оценки ученика на экзамене
2
3
4
5
Вопрос:
Ну что получил?
Ответ:
4
Сколько бит информации
содержится в ответе?

Каждый ответ должен
уменьшать количество
возможных результатов
в 2 раза?
Как ставить вопросы?
Подойдём к ответу постепенно.
1-й вопрос: оценка выше тройки?
Да
2-й вопрос: ты получил пятёрку?
Нет
2
3
4
5
1-й вопрос
2-й вопрос

Метод половинного деления
Метод поиска
На каждом шаге отбрасывается
половина вариантов

Главная формула информатики
Количество информации, содержащейся в сообщении о том, что имел место один из множества равновероятных результатов события.
2 i = N
Главная формула
информатики
Количество информации в сообщении
об одном из N результатов

N — степень числа 2
i — целое число

N=6 2i=6
22<6<23
2