Содержательный подход измерению количества информации

При бросании неравносторонней (несимметричной) четырехгранной пирамиды существуют 4 различных события – выпадение каждой из граней с разной долей вероятности.
Использование формулы Хартли – неправомерно!
НЕРАВНОВЕРОЯТНЫЕ СОБЫТИЯ

В 1948 году американский математик и инженер Клод Шеннон предложил свою формулу вычисления количества информации для событий с различными вероятностями.

I = - Σpi⋅log2pi
i=1
где I – количество информации, содержащееся в
реализации одного из N возможных не равновероятных событий (в битах);
pi – вероятность отдельных i-х событий;
N – общее количество возможных событий.
N
Формула Шеннона

Формулы для частного события с номером i для случая не равновероятных событий :
Ni = 2i
Ni = −
Ni – количество возможных вариантов i-го события
1
pi
При решении задач этого типа часто используется частная формула
i = 1оg2(1/р)
где i - это количество информации в одном из N событий,
р - вероятность этого события.

Вероятность i-го события pi выражается в долях единицы и вычисляется по формуле:
pi = К / N
где К - величина, показывающая, сколько раз произошло ин­тересующее нас событие,
N - общее число возможных исходов какого-то процесса.

Задача 1.
В корзине находятся 20 грибов. Из них 15 груздей и 5 волнушек. Какое количество информации несет сообщение о том, что достали:
а) груздь; б) волнушку.
Решение:
1. Найдем вероятность того, что достали груздь: ргр = 15 / 20 = 0,75;
2. Найдем вероятность того, что достали волнушку: рв = 5 / 20 = 0,25.
3. Найдем количество информации в сообщении о вытаскивании груздя:
iгр = log(1/ ргр ) = log(1/0,75) = log21,3 =1,15470 бит.
4. Найдем количество информации в сообщении о вытаскивании волнушки:
iв = log(1/ рв) = log( 1/0,25) = 1оg24 = 2 бит
Ответ: количество информации в сообщении о том, что из корзины достали груздь, равно 1,1547 бит. Количество информации в сообщении о том, что достали волнушку, равно 2 бит.

Задача 1.
В корзине находятся 20 грибов. Из них 15 груздей и 5 волнушек. Какое количество информации несет сообщение о том, что достали:
а) груздь; б) волнушку.
Ответ: количество информации в сообщении о том, что из корзины достали груздь, равно 1,1547 бит. Количество информации в сообщении о том, что достали волнушку, равно 2 бит.
Проанализировав решение задачи, можно сделать вывод: чем меньше вероятность свершения события (волнушек в корзине меньше, чем груздей), тем больше количество информации содержится в этом событии.

Задача 2. В озере обитает 1250 окуней, пескарей – в 2 раза больше, а карасей и щук поровну и в 2 раза меньше, чем окуней. Сколько информации мы получим, когда поймаем какую-нибудь рыбу.
Решение:
1. Найдем общее количество рыб в озере: К = 1250 + 2500 + 2⋅625 = 5000.
2. Найдем вероятность попадания на удочку каждого вида рыб:
pо =1250/5000 = 0,25
рк = 2500 /5000 = 0,5
рп = 625/5000 = 0,125
рщ = 625/5000 = 0,125
3. Найдем количество информации:
I = - (0,25⋅log20,25 + 0,5⋅log20,5 + 0,125⋅log20,125 + 0,125⋅log20,125) = 1,75 бит.
Ответ: мы получим 1,75 бит информации.

Задача 3. (работа в парах самостоятельно, затем проверка ответа и разбор решения)
В корзине лежат шары: синие, красные, белые, зеленые, всего 32 шара. Сообщение о том, что вынули синий шар, несет 2 бит информации. Синих шаров было в 2 раза меньше, чем красных, белых и зеленых – поровну. Сколько шаров каждого цвета было в корзине?
Решение:
В задаче имеют место события не равновероятностные. Используем следующие формулы: Ni = 2i Ni = 1 /pi
Из условия задачи ic = 2 бит. Находим рc.
рc = 1 / Nc Nc = 2ic Nc = 22 = 4 рc = 1 /4
С другой стороны вероятность того, что вынули синий шар, равна рc = kc / N (kc – количество синих шаров, N – всего шаров в корзине).
Находим kc. Затем определяем количества остальных шаров.
kc / 32 = 1 / 4 kc = 8 kкр = 2 * kc = 16 kз = kб = (32 – 16 – 8) / 2 = 4
Ответ: в корзине синих шаров – 8, красных – 16, белых и зеленых – по 4 шт.

Задача 4. (работа в парах самостоятельно, затем проверка ответа и разбор решения)
На уроке математики Незнайку вызывают к доске в 4 раза реже, чем Винтика. Определить количество информации в сообщении о том, что к доске вызвали Винтика, если сообщение о том, что вызвали Незнайку, несет 8 бит информации.
Решение.
По условию задачи дано: iн = 8 бит Рв = 4 * рн
Находим вероятность того, что к доске вызвали Незнайку:
Nн = 2iн Nн = 28 = 256 рн = 1 / 256
Находим вероятность того, что к доске вызвали Винтика, а затем - количество информации в сообщении о том, что к доске вызвали Винтика:
Рв = 4 * рн Рв = 4 * 1 / 256 = 1 / 64
Nв = 1 / Рв Nв = 1 / (1 / 64) = 64 = 2 6 iв = 6 (бит)
Ответ: количество информации в сообщении о том, что к доске вызвали Винтика, равно 6 бит.