Измерение информации. Алфавитный подход к измерению информации

Ключевые слова
бит
информационный вес символа
информационный объём сообщения
единицы измерения информации

Алфавитный подход к измерению информации
Каждый символ некоторого сообщения имеет определённый информационный вес – несёт фиксированное количество информации.
Все символы одного алфавита имеют один и тот же вес, зависящий от мощности алфавита.
Информационный вес символа двоичного алфавита принят за минимальную единицу измерения информации и называется 1 бит (bit)».

Информационный вес символа произвольного алфавита

Алфавит племени Пульти содержит 8 символов. Каков информационный вес символа этого алфавита?
Задача 1
Решение:
N=8
i – ?
8 = 2i.
i = 3.
Ответ: 3 бита.
N = 2i
Соотношение, связывающее величины i и N
Краткая запись условия задачи
Вычисления

Информационный объем сообщения
Информационный объём I сообщения равен произведению количества K символов в сообщении на информационный вес i символа алфавита:
K
i
I = K i
Количество символов
в сообщении
Информационный вес
символа алфавита
×

Сообщение, записанное буквами 32-символьного алфавита, содержит 140 символов. Какое количество информации оно несёт?
Задача 2
Решение:
N = 32,
K = 140
I – ?
Ответ: 700 битов.
I = K i,
N = 2 i
32 = 2 i, i = 5, I = 140 5 = 700 (битов)
×
×

Информационное сообщение объёмом 720 битов состоит из 180 символов. Какова мощность алфавита, с помощью которого записано это сообщение?
Задача 3
Решение:
I = 720;
K = 180;
N – ?
Ответ: 16 символов.
N = 2 i,
I = K i,
i = I/K
i = 720/180 = 4 (бита);
N = 24 = 16 (символов)
×

Единицы измерения информации
КОМПЬЮТЕРНЫЙ АЛФАВИТ
русские (РУС) буквы
латинские (LAT) буквы
цифры (1, 2, 3, 4, 5, 6, 7, 8, 9, 0)
математические знаки (+, -, *, /, ^, =)
прочие символы («», №, %, <, >, :, ;, #, &)
Алфавит содержит 256 символов.
256 = 28 ⇒ i=8
1 байт - информационный вес символа
алфавита мощностью 256.
1 байт = 8 битов

Задача 4
Информационное сообщение объёмом 4 Кбайта состоит из 4096 символов. Каков информационный вес символа этого сообщения? Сколько символов содержит алфавит, с помощью которого записано это сообщение?
I = 4 Кб,
K = 4096;
i – ? N – ?
Ответ: информационный вес символа = 8,
алфавит содержит 256 символов.
N = 28 = 256 (символов)
Решение:

Самое главное
1 бит - минимальная единица измерения информации.
Информационный вес i символа алфавита и мощность N алфавита связаны между собой соотношением: N = 2i.
Информационный объём I сообщения равен произведению количества K символов в сообщении на информационный вес i символа алфавита:
I = K× i.
1 байт = 8 битов.
Бит, байт, килобайт, мегабайт, гигабайт, терабайт - единицы измерения информации. Каждая следующая единица больше предыдущей в 1024 (210) раза.

Вопросы и задания
Что нужно знать для определения информационного веса символа алфавита некоторого естественного или формального языка?
В чем суть алфавитного подхода к измерению информации?
Что принято за минимальную единицу измерения информации?
Определите информационный вес i символа алфавита мощностью N, заполняя таблицу:
23
25
26
27
28
3
5
6
7
8
Как определить информационный объём сообщения, представленного символами некоторого естественного или формального языка?

Определите количество информации в сообщении из К символов алфавита мощностью N, заполняя таблицу:
23
25
26
27
28
3
5
6
7
8
1200
1000
600
700
800
Племя Мульти пишет письма, пользуясь 16-символьным алфавитом. Племя Пульти пользуется 32-символьным алфавитом.
Вожди племён обменялись письмами. Письмо племени Мульти содержит 100 символов, а письмо племени Пульти - 50. Сравните информационные объёмы сообщений, содержащихся в письмах.
Решение:
NМ=16, KМ=100. iМ=4, IМ= 400
NП=32, KП=50. iП=5, IП= 250
Ответ:
Информационный объём письма племени Пульти больше чем объём письма племени Мульти.

Для записи текста использовался 64-символьный алфавит. Какой объём информации в байтах содержат 10 страниц текста, если на каждой странице расположено 32 строки по 64 символа в строке?
Решение:
N=64, i=6, K=10 * 32 * 64= 20 480 (символов)
Ответ: 15360 байтов.
I= K * i / 8 = 20480 * 6 / 8 = 15360 (байтов)