3. Измерение информации. Объемный подход

Содержательный подход
Путь свободен
Наступает одно из двух событий:
«путь свободен» или «путь закрыт».
Получен 1 бит.

Алфавитный подход
Путь свободен
«.--. ..- - -..- ... .-- --- -... --- -.. . -.»
35 знаков (без пробелов).
1 знак = 1 бит. Получено 35 бит.

Двоичное кодирование — это кодирование
с помощью двух знаков (например 1 и 0).
1 бит это один разряд двоичного кода
ГАВ = 100001011 ← 9 бит

Пусть длина кода равна i = 2, сколько же букв русского алфавита N можно закодировать с помощью них?
А — 00, Б — 01, В — 10, Г — 11
N= 4
Если i = 4, то
А — 0000, Б — 0001 … О — 1111
N = 16

В русском алфавите 32 буквы (если считать, что
е = ё). Тогда длина кода будет равна 5.
Если учитывать регистр (большие и маленькие буквы), то уже нужен код длиной 6 (64 =26).

В обычном тексте мы используем ещё знаки препинания, цифры, математические знаки и латинские буквы.
В стандартную кодовую таблицу ASCII мощностью 256 знаков помещаются все символы, необходимые для стандартного текста. 256 = 28. Каждый символ имеет информационный вес 8 бит или 1 байт,
поэтому эту таблицу называют однобайтовой.

Информационный объём теста
в однобайтовой кодировке равен количеству знаков в тексте.
Для кодирования большего количества символов используют двухбайтовую таблицу Unicode.

1. Определить количество знаков в алфавите или мощность алфавита N.
2. Определить количество битов информации i, приходящихся на один символ, — информационная ёмкость (объём) символа из формулы N = 2i.
3. Количество информации в сообщении I длиной k знаков будет равно I = k*i.
Для измерения количества информации в сообщении в двоичной кодировке нужно:

Определите объём информации в слове ВАСЯ, для кодирования которого использовался алфавит русского языка, состоящий из 32 прописных букв.
i = 5 бит (32 =25)
I = 4 * 5= 20 бит.