Содержательный подход и вероятность

До сих пор речь шла о равновероятных событиях. Но в реальности существует множество ситуаций, когда возможные события имеют различные вероятности реализации. Рассмотрим примеры таких событий:
В коробке 20 карандашей, из них 15 красных и 5 чёрных. Вероятность вытащить наугад красный карандаш больше, чем чёрный.
Сообщения об осадках в зимнем прогнозе погоды. Зимой бывает снег, бывает без осадков и, очень редко, бывает дождь (во время сильной оттепели). Дождь — событие маловероятное. Поэтому зимой сообщение о дожде несет самую большую информацию.
В пруду живут 8000 карасей, 2000 щук и 40000 пескарей. Самая большая вероятность для рыбака – поймать в этом пруду пескаря, на втором месте – карася, на третьем – щуку.
Интуитивно понятно, например, что для ученика-отличника получение пятерки и получение двойки — события не равновероятные. Для такого ученика получить пятерку —очень вероятное событие, а получение двойки — маловероятно. Для двоечника же — все наоборот.
Содержательный подход и вероятность

Вычисление вероятности
Вероятность показывает какую часть от общего числа событий составляет данное событие
Вероятность события (р) – число от 0 до 1, показывающее, как часто случается это событие в большой серии одинаковых опытов.
p = 0 событие никогда не происходит (нет неопределенности)
p = 0,5 событие происходит в половине случаев (есть неопределенность)
p = 1 событие происходит всегда нет неопределенности)
Полная система событий: одно из N событий обязательно произойдет (и только одно!).
⇒
число данных событий
общее число событий
pi – вероятность выбора i-ого варианта (i=1,…,N)

Для оценки средней информативности событий с учетом разной вероятности их благоприятных исходов формула К. Шеннона:
Вероятностный подход
количество возможных событий (мощность алфавита)
средняя информативность в сообщении о том, что произошло одно из N событий.
N
i
pn
вероятность (частота) наступления событий
Если: p1=p2=…=pn=p (события равновероятны), тогда:
⇒
Формула Хартли

Задача
За год ученик получил 100 оценок. Среди них: 60 пятерок, 25 четверок, 10 троек и 5 двоек. Определить количество информации в сообщениях о получении каждой из оценок
Р5=60/100 =0,6(60%);
Р4=25/100 =0,25(25%);
Рз=10/100 =0,1(10%);
Р2=5/100 =0,05(5%)
2i=1/Р
I5 = log2(l/0,6) = log2(5/3) = 0,737 бит,
I4 = log2(l/0,25) = log2(4) = 2 бита,
I3 = log2(l/0,l) == log2(10) = 3,322 бита,
I2 = log2(l/0,05) = log2(20) = 4,322 бита.
Вывод: Количество информации в сообщении о некотором событии зависит от вероятности этого события. Чем меньше вероятность, тем больше информации.
i = log2(l/P)
Для примера возьмем школьные оценки. Чтобы определить, какова вероятность получения каждой оценки, нужно посчитать общее количество разных оценок, полученных учеником за достаточно большой период времени, и определить, сколько из них двоек, троек, четверок и пятерок. Если допустить, что такое же распределение оценок сохранится и в будущем, то можно рассчитать вероятности получения каждой из оценок. Определив, какую часть от общего числа оценок составляют двойки, найдем вероятность получения двойки. Затем, определив, какую часть составляют тройки, найдем вероятность получения тройки. Доля четверок среди всех оценок — это вероятность получения четверки, а доля пятерок — это вероятность получения пятерки.
Содержательный подход и вероятность
Решение

Задача
В пруду живут 100 рыб, из них 20 карасей, 30 пескарей, а остальные – окуни. Сколько информации несет сообщение о том, что рыбак поймал карася (пескаря, окуня), если все рыбы одинаково голодны?
Решение:
карась
пескарь
окунь
Содержательный подход и вероятность