Вероятностный подход к определению количества информации. Формула Шеннона

Для вычисления количества информации в сообщении о неравновероятном событии используют следующую формулу:
I=log2(1/p)
где
I – это количество информации,
р – вероятность события.

Вероятность события выражается в долях единицы и вычисляется по формуле:
р=K/N
где
К – величина, показывающая сколько раз произошло интересующее нас событие,
N – общее число возможных исходов какого-то процесса.

Задача: Бабушка испекла 8 пирожков с капустой, 24 пирожков с повидлом. Маша съела один пирожок. Вычислить вероятность выбора пирожка с разной начинкой и количество информации, которое при этом было получено.
Решение:
Пусть К1 – это количество пирожков с повидлом, К1=24
К2 – количество пирожков с капустой, К2=8
N – общее количество пирожков, N = К1 +К2=24+8=32
Вероятность выбора пирожка с повидлом: р1=24/32=3/4=0,75.
Вероятность выбора пирожка с капустой: р2=8/32=1/4=0,25.
Обращаем внимание учащихся на то, что в сумме все вероятности дают 1.
Вычислим количество информации, содержащееся в сообщении, что Маша выбрала пирожок с повидлом:
I1=log2(1/p1)= log2(1/0,75)= log21,3=1,15470 бит.
Вычислим количество информации, содержащееся в сообщении, если был выбран пирожок с капустой:
I2=log2(1/p2)= log2(1/0,25)= log24=2 бит.

Качественную связь между вероятностью события и количеством информации в сообщении об этом событии можно выразить так: чем меньше вероятность некоторого события, тем больше информации содержит сообщение об этом событии.

Вопрос: сколько получим информации при выборе пирожка любого вида?
Ответить на этот вопрос нам поможет формула вычисления количества информации для событий с различными вероятностями, которую предложил в 1948 г. американский инженер и математик К.Шеннон.
Если I-количество информации, N-количество возможных событий, рi - вероятности отдельных событий, где i принимает значения от 1 до N, то количество информации для событий с различными вероятностями можно определить по формуле:
можно расписать формулу в таком виде:

Рассмотрим формулу на нашем примере:
I = - (р1∙log2p1 + р2∙log2p2)
= - (0,25∙ log20,25+0,75∙ log20,75)
≈-(0,25∙(-2)+0,75∙(-0,42))
=0,815 бит

Задача: В корзине лежат 32 клубка красной и черной шерсти. Среди них 4 клубка красной шерсти.
Сколько информации несет сообщение, что достали клубок красной шерсти? Сколько информации несет сообщение, что достали клубок шерсти любой окраски?

Применение ЭТ Excel для решения задач на нахождение количества информации
рi =Ki /N
Ii=log2(1/pi)

Задача №1
В озере обитает 12500 окуней, 25000 пескарей, а карасей и щук по 6250. Какое количество информации несет сообщение о ловле рыбы каждого вида. Сколько информации мы получим, когда поймаем какую-нибудь рыбу?
Дано: Ко=12500; Кп=25000; Кк= Кщ=6250
Найти: Iо, Iп, Iк, Iщ, I
Решение:
Найдем общее количество рыбы:
N= Ко+Кп+Кк+Кщ.
Найдем вероятность ловли каждого вида рыбы:
pо= Ко/N; pп= Кп/N; pк= pщ= Кк/N.
Найдем количество информации о ловле рыбы каждого вида:
Iо= log2( 1/pо); Iп=log2 (1/pп ); Iк= Iщ= log2 (1/pк )
Найдем количество информации о ловле рыбы любого вида:
I= pо∙log2pо+ pп∙log2pп +pк∙log2pк +pщ∙log2pщ

При составлении таблицы мы должны учитывать:
- Ввод данных (что дано в условии).
- Подсчет общего количества числа возможных исходов (формула N=K1+K2+…+Ki).
- Подсчет вероятности каждого события
(формула pi= Кi/N).
- Подсчет количества информации о каждом происходящем событии (формула Ii= log2(1/pi)).
- Подсчет количества информации для событий с различными вероятностями (формула Шеннона).

Практическая работа.
1.Сделать табличную модель для вычисления количества информации.
2. Используя табличную модель, сделать вычисления к задаче №2 результат вычисления занести в тетрадь.
Задача №2
В классе 30 человек. За контрольную работу по информатике получено 15 пятерок, 6 четверок, 8 троек и 1 двойка. Какое количество информации несет сообщение о том, что Андреев получил пятерку?