Содержательный подход к измерению информации

ИНФОРМАЦИЯ
Информация — это знания, которые получает человек.
Информация — это снятая неопределённость знания человека об исходе некоторого события (Клод Шеннон).
С позиции содержательного подхода сообщение, которое информирует об исходе некоторого события, снимает неопределённость знания человека об этом событии.
Сообщение несёт больше информации, в случае если изначально была большая неопределённость знания.
Неопределённость знания — это количество возможных вариаций ответа на поставленный вопрос.

ПРИМЕР
Подбрасывая монету, мы не знаем, что выпадет: «орёл» или «решка» — это равновероятные события. После броска нам известен исход события — имеем полную определённость. Неопределённость знания уменьшается в 2 раза.
Сообщение, которое уменьшает неопределённость знания в 2 раза, несёт 1 бит информации.

«ГЛАВНАЯ» ФОРМУЛА ИНФОРМАТИКИ
2i=N, где N — неопределённость знания (количество возможных исходов какого-то события); i — количество информации в сообщении об одном из N исходов.
Следовательно, для нахождения количества информации i, которое содержится в сообщении об одном из N равновероятных исходов какого-то события, нужно воспользоваться формулой: i=log2N.

ПРИМЕР 1
В доме 16 этажей, на каждом этаже по 4 квартиры. Какое количество информации несёт сообщение о том, что Игорь живёт на 7-м этаже в квартире № 27?
Решение:
всего в доме 16⋅4 = 64 квартиры, т. е. N = 64.
Используем формулу i=log2N:
i = log264 = 6 бит.
Ответ: 6 бит.

ПРИМЕР 2
Загадали некоторое целое число в определённом диапазоне. Угадывая эта число, получили 7 бит информации. Сколько чисел содержит диапазон?
Решение:
i = 7, 2i=N, значит, N=27 = 128.
Ответ: 128 чисел.

ИЗМЕРЕНИЕ ИНФОРМАЦИИ
Содержательный подход
Количество информации, заключенное в сообщении, связанное, связано с тем, насколько это сообщение уменьшает неопределенность знаний принимающего его человека.
Алфавитный подход
Количество информации зависит от объема текста, то есть от числа знаков в тексте, и от мощности алфавита.