Измерение информации: содержательный подход

Содержательный подход к измерению информации
Для человека информация — это знания человека. Рассмотрим вопрос с этой точки зрения.
Получение новой информации приводит к расширению знаний. Если некоторое сообщение приводит к уменьшению неопределенности нашего знания, то можно говорить, что такое сообщение содержит информацию.
Отсюда следует вывод, что сообщение информативно (т.е. содержит ненулевую информацию), если оно пополняет знания человека. Например, прогноз погоды на завтра — информативное сообщение, а сообщение о вчерашней погоде неинформативно, т.к. нам это уже известно.
Нетрудно понять, что информативность одного и того же сообщения может быть разной для разных людей. Например: «2x2=4» информативно для первоклассника, изучающего таблицу умножения, и неинформативно для старшеклассника.
Количество информации – это мера уменьшения неопределенности знаний.

Информативность сообщения
Но для того чтобы сообщение было информативно оно должно еще быть понятно.
Быть понятным, значит быть логически связанным с предыдущими знаниями человека. Определение «значение определенного интеграла равно разности значений первообразной подынтегральной функции на верх нем и на нижнем пределах», скорее всего, не пополнит знания и старшеклассника, т.к. оно ему не понятно. Для того, чтобы понять данное определение, нужно закончить изучение элементарной математики и знать начала высшей.
Получение всяких знаний должно идти от простого к сложному. И тогда каждое новое сообщение будет в то же время понятным, а значит, будет нести информацию для человека.
Сообщение несет информацию для человека, если содержащиеся в нем сведения являются для него новыми и понятными.

Единица измерения информации
Очевидно, различать лишь две ситуации: «нет информации» — «есть информация» для измерения информации недостаточно. Нужна единица измерения, тогда мы сможем определять, в каком сообщении информации больше, в каком — меньше.
Единица измерения информации была определена в науке, которая называется теорией информации. Эта единица носит название «бит». Ее определение звучит так:
Сообщение, уменьшающее неопределенность знаний в два раза, несет 1 бит информации.
Неопределенность знаний о некотором событии — это количество возможных результатов события.

Пример:
После сдачи зачета или выполнения контрольной работы ученик мучается неопределенностью, он не знает, какую оценку получил.
«Зачет», «незачет»? «2», «3», «4» или «5»?
Наконец, учитель объявляет результаты, и он получаете одно из двух информационных сообщений: «зачет» или «незачет», а после контрольной работы одно из четырех информационных сообщений: «2», «3», «4» или «5».
Информационное сообщение об оценке за зачет приводит к уменьшению неопределенности знания в два раза, так как получено одно из двух возможных информационных сообщений. Информационное сообщение об оценке за контрольную работу приводит к уменьшению неопределенности знания в четыре раза, так как получено одно из четырех возможных информационных сообщений.

Пример:
На книжном стеллаже восемь полок. Книга может быть поставлена на любую из них. Сколько информации содержит сообщение о том, где находится книга?
Задаем вопросы:
- Книга лежит выше четвертой полки?
- Нет.
- Книга лежит ниже третьей полки?
- Да .
- Книга — на второй полке?
- Нет.
- Ну теперь все ясно! Книга лежит на первой полке!
Каждый ответ уменьшал неопределенность в два раза.
Всего было задано три вопроса. Значит набрано 3 бита информации. И если бы сразу было сказано, что книга лежит на первой полке, то этим сообщением были бы переданы те же 3 бита информации.

Формула вычисления количества информации равновероятных событий
2I = N, где
N - возможное количество событий,
I - количество информации в сообщении о том, что произошло одно из N событий, бит.
Количество информации, содержащееся в сообщении о том, что произошло одно из N равновероятных событий, определяется из решения показательного уравнения: 2I = N.
I= log2N

Пример 1:
Сколько информации содержит сообщение о том, что из колоды карт достали король пик?

Пример 1:
Сколько информации содержит сообщение о том, что из колоды карт достали король пик?
Решение:
В колоде 32 карты. В перемешенной колоде выпадение любой карты равновероятное событие.
N = 32. I - ?
2I = N
2I = 32
25 = 32
I = 5 бит

Пример 2:
Сколько информации содержит сообщение о выпадении грани с числом 3 на шестигранном игральном кубике?

Пример 2:
Сколько информации содержит сообщение о выпадении грани с числом 3 на шестигранном игральном кубике?
Решение:
N = 6. I - ?
2I = N
2I = 6
22 < 6 < 23
I = 2.58496 бит

Задания выполнить в тетради:
1) В книге 512 страниц. Сколько информации несет сообщение о том, что закладка лежит на какой-либо странице?
2) Сколько информации несет сообщение о том, что концерт состоится в октябре?

Вероятностный подход к определению количества информации.
Формула Шеннона

Количество информации в сообщении о неравновероятном событии:
I=log2(1/p), где
I – это количество информации, бит
р – вероятность события.

Вероятность события выражается в долях единицы и вычисляется по формуле:
р=K/N
где
К – величина, показывающая сколько раз произошло интересующее нас событие,
N – общее число возможных исходов какого-то процесса.

Задача: Бабушка испекла 8 пирожков с капустой, 24 пирожков с повидлом. Маша съела один пирожок. Вычислить вероятность выбора пирожка с разной начинкой и количество информации, которое при этом было получено.
Решение:
Пусть К1 – это количество пирожков с повидлом, К1=24
К2 – количество пирожков с капустой, К2=8
N – общее количество пирожков, N = К1 +К2=24+8=32
Вероятность выбора пирожка с повидлом: р1=24/32=3/4=0,75.
Вероятность выбора пирожка с капустой: р2=8/32=1/4=0,25.
Обращаем внимание учащихся на то, что в сумме все вероятности дают 1.
Вычислим количество информации, содержащееся в сообщении, что Маша выбрала пирожок с повидлом:
I1=log2(1/p1)= log2(1/0,75)= log21,3=1,15470 бит.
Вычислим количество информации, содержащееся в сообщении, если был выбран пирожок с капустой:
I2=log2(1/p2)= log2(1/0,25)= log24=2 бит.

Качественную связь между вероятностью события и количеством информации в сообщении об этом событии можно выразить так: чем меньше вероятность некоторого события, тем больше информации содержит сообщение об этом событии.

Вопрос: сколько получим информации при выборе пирожка любого вида?
Ответить на этот вопрос нам поможет формула вычисления количества информации для событий с различными вероятностями, которую предложил в 1948 г. американский инженер и математик К.Шеннон.
Если I-количество информации, N-количество возможных событий, рi - вероятности отдельных событий, где i принимает значения от 1 до N, то количество информации для событий с различными вероятностями можно определить по формуле:
можно расписать формулу в таком виде:

Рассмотрим формулу на нашем примере:
I = - (р1∙log2p1 + р2∙log2p2)
= - (0,25∙ log20,25+0,75∙ log20,75)
≈-(0,25∙(-2)+0,75∙(-0,42))
=0,815 бит

Задача: В корзине лежат 32 клубка красной и черной шерсти. Среди них 4 клубка красной шерсти.
Сколько информации несет сообщение, что достали клубок красной шерсти? Сколько информации несет сообщение, что достали клубок шерсти любой окраски?