Вероятностный подход к определению количества информации

СОБЫТИЯ
имеют различные вероятности реализации
равновероятны
Формула Шеннона
Расчет количества информации по Хартли
p – вероятность события
i – количество информации в сообщении о данном событии

Формула Шеннона
где
I – количество информации (бит);
N – количество возможных событий;
pi –вероятность i-го события.

Задача 1.
В классе 30 человек. За контрольную работу по математике получено 6 пятерок, 15 четверок, 8 троек и 1 двойка.
Какое количество информации в сообщении о том, что Андреев получил пятерку?
«5»
«4»
«4»
«5»
«5»
«5»
«4»

Дано: N=30, K5 =6, K4 =15, K3 =8, K2 =1
Найти: i5-?
Решение:
р5=6/30=0,2
Найдем количество информации
i= log2 (1/0,2)=
Ответ: 2,321
вероятность получения оценки «5»

Задача 2.
(самостоятельно)
В корзине лежат 20 шаров. Из них 10 черных, 5 белых, 4 желтых и 1 красный. Сколько информации несет сообщение о том, что достали красный шар?

Решение
1) Найдем вероятность вытягивания шара красного цвета
рк=1/20=0,05
2) Найдем количество информации
i = log2 (1/0,05)= log2 (20)=
Ответ: 4,321 ≈4,4

Задача 3.
В озере обитает:
12500 окуней,
25000 пескарей,
6250 карасей,
6250 щук.
Сколько информации мы получим, когда поймаем какую-нибудь рыбу?

Решение
1) Найдем общее количество рыб в озере
К=12500+25000+6250+6250=50000
2) Найдем вероятность попадания на удочку каждого вида рыб
ро=12500/50000=0,25
рк=25000/50000=0,5
рп=6250/50000=0,125
рщ=6250/50000=0,125
3) Найдем количество информации
I= - (0,25 · log20,25+0,5 · log20,5+ 0,125 · log20,125+
+0,125 · log20,125) = - (0,25·(-2)+0,5 ·(-1)+2 · 0,125 ·(-3)) =
= - (-0,5-0,5-0,75) = - (-1,75) = 1,75

Задача 4.
(самостоятельно)
В непрозрачном мешочке 10 белых,
20 красных, 30 синих и 40 зеленых шариков. Какое количество информации будет содержать зрительное сообщение о цвете вынутого шарика?

Решение
1) Найдем общее количество шаров в мешочке
К=10+20+30+40=100
2) Найдем вероятность вытягивания шара
каждого цвета
рб=0,1
рк=0,2
рс=0,3
рз=0,4
3) Найдем количество информации
I=-(0,1 · log20,1+0,2 · log20,2+ 0,3 · log20,3+ 0,4 · log20,4)=
Ответ: 1,846 ≈1,85