Измерение информации

Множество символов, используемых при записи текста называется алфавитом.
Полное количество символов в алфавите называется мощностью алфавита.
i=log2N
i – количество информации, которое несет каждый символ алфавита;
N – мощность алфавита.
N=2i

Пример: N=2, i=1бит
N=4, i=2бит
N=8, i=3бит
N=256, i=8бит
8 бит=1 байт
K – число символов в тексте;
I – объем информации всего текста;
i – информационный объем одного символа в используемом алфавите.

Вероятностный подход
,где N – число событий; I – количество информации, заключенное в этом сообщении (в битах).
Минимальный размер сообщения о том, что произошло одно из двух равновозможных событий, равен одному биту.

Формулу для вычисления количества информации для событий с различными вероятностями предложил К. Шеннон в 1948 году.
где I – количество информации, N – количество возможных событий, pi – вероятности отдельных событий.