Неравновероятные события

1948 г. американский инженер и математик К.Шеннон.
I = log2(1/p)
I - количество информации,
р - вероятность события.

Вероятность события выражается в долях единицы и вычисляется по формуле:
р = К/N
К — величина, показывающая, сколько раз произошло интересующее нас событие,
N - общее число возможных исходов какого-то процесса.

№ 1
В мешке находятся 20 шаров. Из них 15 белых и 5 красных. Какое ко­личество информации несет сообщение о том, что достали:
а) белый шар; б) красный шар. Сравните ответы.
Решение:
Найдем вероятность того, что достали белый шар: рб = 15 / 20 = 0,75;
Найдем вероятность того, что достали красный шар: рк = 5 / 20 = 0,25.

№ 1
Найдем вероятность того, что достали белый шар: рб = 15 / 20 = 0,75;
Найдем вероятность того, что достали красный шар: рк = 5 / 20 = 0,25.
Найдем количество информации в сообщении о вытаскивании белого шара: I6 = log 2(1/р6) = log 2( 1/0,75) = log2l,3 =1,15470бит.
Найдем количество информации в сообщении о вытаскивании красного шара: Iк = log 2 (1/ рк) = log 2( 1/0,25) = log24 = 2 бит.

№ 1
При сравнении ответов получается ситуация:
вероятность вытаскивания белого шара была больше, чем вероятность вытаскивания красного шара, а информации при этом получилось меньше.
Это не случайность, а закономерная, качественная связь между вероятностью события и количеством информации в сообщении об этом событии.

№2
В коробке лежат кубики: 10 красных, 8 зеленых, 5 желтых, 12 синих. Вычислите вероятность доставания кубика каждого цвета и количество ин­формации, которое при этом будет получено.
— Являются ли события равновероятными? Почему?
(Нет, т.к. количество кубиков разное.)
— Какую формулу будем использовать для решения задачи?
I = log2(1/p)

№2
Решение:
Всего кубиков в коробке N = 10 + 8 + 5 + 12 = 35.
Найдем вероятности:
рк = 10 / 35 = 0,29,
рз = 8/35 = 0,22,
Рс= 12/35 = 0,34,
рж= 5/35 = 0,14.

№2
Решение:
N = 10 + 8 + 5 + 12 = 35.
Найдем вероятности:
рк = 10 / 35 = 0,29,
рз = 8/35 = 0,22,
Рс= 12/35 = 0,34,
рж= 5/35 = 0,14.
Найдем количество информации:
Iк= log2( 1/0,29) = log23,4 = 1,85695 бит,
Iс = log2( 1/0,34) = log22,9 = 1,71498 бит
Iз = log2 ( 1/0,22) = log24,5 = 2,132007 бит,
Iж = log2 (l/0,14) = log27,l = 2,672612 бит.

Применение
Формулы классической теории информации первоначально были разработаны для технических систем
Задача оптимизации работы таких систем требовала, прежде всего, решить вопрос о количестве информации, передаваемой по каналам связи.