Измерение и кодирование информации

Справочные сведения

Формула Хартли
Любая информация, которую мы получаем, может быть измерена.
Минимальной единицей информации является один бит
Информация имеет размер 1 бит, если она позволяет в два раза уменьшить неопределенность наших знаний о некотором событии.

Для выбора одного из 2N элементов необходимо получить информацию объемом N бит
n = log2 K
или
2n =K
n – объем информации
К – количество элементов

Кодирование информации
В устройствах, предназначенных для хранения или передачи информации, необходимо предварительно выполнять ее кодирование, т.е. перевод в форму, естественную для данного устройства.
Элемент устройства, принимающий два состояния (включено/выключено), позволяет закодировать информацию объемом 1 бит

Алфавит – множество символов
Мощность – количество символов, входящих в алфавит
Как быть с алфавитами, мощность которых не является степенью числа 2?
В подобных ситуациях значение логарифма надо округлять с избытком, т.е. в сторону большего целого числа

- значение числа, округленное с избытком
В общем случае формула будет следующей:

Хранение информации
Для хранения информации в компьютере используются устройства, элементы которых (ячейки памяти) могут принимать два состояния:
активное (1) и неактивное (0)

Единицы информации
1 байт = 8 бит = 23бит
1 Кбайт = 210байт = 1024 байт
1 Мбайт = 210Кбайт = 1024 Кбайт
1 Гбайт = 210Мбайт = 1024 Мбайт
1 Тбайт = 210Гбайт = 1024 Гбайт

Кодирование текстовой информации
КОИ-8, ASCII, Windows-1251 –
однобайтные кодировки
(1 символ – 1 байт)
Unicode – двухбайтная кодировка
(1 символ – 2 байта)

Решение типовых задач

Задача 1
Считая, что каждый символ кодируется 1 байтом, определите информационный объем следующего предложения из пушкинских строк:
Певец Давид был ростом мал, Но повалил же Голиафа!

Решение:
В тексте содержится 50 символов, включая пробелы и знаки препинания. Каждый символ кодируется 1 байтом, информационный объем сообщения из 50 символов равен 50 байтам. Поскольку среди ответов нет подобного варианта, переведем объем в биты. 1 байт = 8 бит, поэтому информационный объем сообщения равен 400 бит.
Ответ: 1

Задача 2
Автоматическое устройство осуществило перекодировку информационного сообщения на русском языке, первоначально записанного в 16-битном коде Unicode,
в 8-битную кодировку КОИ-8. При этом информационное сообщение уменьшилось на 480 бит. Какова длина сообщения в символах?

Решение:
При переходе от 16-битной кодировки к 8-битной сообщение уменьшается в 2 раза, поэтому длина сообщения после перекодировки составила 480 бит. Длина этого сообщения в символах будет равна 480 : 8 = 60.
Ответ: 2

Задача 3
Сколько существует различных последовательностей из символов «плюс» и «минус» длиной ровно в 5 символов?

Решение:
Различных комбинаций из символов «плюс» и «минус» существует ровно столько же, сколько и соответствующих двоичных кодов (битов) той же длины, т.е. 25 = 32.
Ответ: 3

Задача 4
В велокроссе участвуют 119 спортсменов. Специальное устройство реагирует прохождение каждым из участников промежуточного финиша, записывая его номер с использованием минимально возможного количества битов, одинакового для каждого спортсмена. Каков информационный объем сообщения, записанного устройством, после того как промежуточный финиш прошли 70 велосипедистов?

Решение:
Каждый бит устройства можно рассматривать как элемент, принимающий два состояния. Определим N – количество таких элементов, необходимое для кодирования алфавита мощностью 119,используя двойное неравенство:
2N-1 < 119 ≤ 2N.
Из данного неравенства, с учетом того, что 26 = 64, 27 = 128, получаем, что информация о каждом номере спортсмена должна кодироваться 7 битами. Тогда информационный объем сообщения, содержащего информацию о 70 велосипедистах, будет равен 70 ·7 = 490 бит.
Ответ: 3

Задача 5
Обычный дорожный светофор подает шесть видов сигналов (непрерывный красный, желтый и зеленый, мигающий желтый, мигающий зеленый, одновременно мигающие красный и желтый). Электронное устройство управления светофором последовательно воспроизводит записанные сигналы. Подряд записано 100 сигналов светофора. В байтах данный информационный объем составляет…?

Решение:
Каждый бит устройства можно рассматривать как элемент, принимающий два состояния. Определим N – количество таких элементов, необходимое для кодирования алфавита мощностью 6,используя двойное неравенство:
2N-1 < 6 ≤ 2N.
Из данного неравенства, с учетом того, что 22 = 4, 23 = 8, получаем, что информация о каждом сигнале должна кодироваться 3 битами. Тогда информационный объем сообщения, содержащего информацию о 100 сигналах, будет равен 100 ·3 = 300 бит.

Решение:
Для определения информационного объема в байтах, учтем что 1 байт = 8 бит.
300 : 8 = 37 байт 4 бита.
Такой ответ отсутствует, выберем вариант, соответствующий минимальному из тех объемов информации, которые могут содержать 37 байт 4 бита: это 38 байт
Ответ: 2

Задача 6
В корзине лежат шары. Все шары разного цвета. Сообщение о том, что достали синий шар, несет 5 бит информации. Сколько всего шаров в корзине?