Алфавитный подход к измерению количества информации

Подходы к измерению информации
Содержательный подход
Алфавитный подход
Количество информации зависит от содержания
Количество информации зависит от объема текста (то есть от числа знаков в тексте)

1 символ = 8 бит
1 байт = 8 бит
Символ – условный знак какого-либо понятия
Алфавит - множество используемых символов в языке.

N – мощность алфавита
(кол-во символов в нем)
i– кол-во информации в битах,
которое несет каждый знак
Информационный объем одного символа алфавита в битах может быть вычислен по формуле

Задача
Алфавит содержит 64 символа. Определите какое количество информации несет один символ?

Задача
Алфавит содержит 174 символа. Определите какое количество информации несет один символ?

Сообщение состоит из последовательности знаков, каждый из которых несет определенное количество информации
Количество информации в сообщении можно определить, используя формулу
Q = i * K
Q - количество информации в сообщении
i – количество информации
K – количество знаков в сообщении

Задача
Необходимо определить какое количество информации содержит слово «Привет», если считать, что алфавит состоит из 32 букв