Алфавитный подход к определению количества информации

Существует и другой способ измерения количества информации – алфавитный.
Это - измерение количества информации в тексте (символьном сообщении), составленном из символов некоторого алфавита.
К содержанию текста такая мера информации отношения не имеет.
Поэтому такой подход можно назвать объективным, то есть не зависящим от воспринимающего его субъекта.

Алфавитный подход удобен при подсчете количества информации, хранимого, передаваемого и обрабатываемого техническими устройствами.
Устройствам нет дела до содержательной стороны сообщений.
Компьютеры, принтеры, модемы работают не с самой информацией а с ее представлением в виде сообщений.
Оценить информационные результаты их работы как полезные или бесполезные может только человек.

Алфавит
Алфавит – конечное множество символов, используемых для представления информации.

Мощность алфавита
Число символов в алфавите называется мощностью алфавита.
Чем меньше знаков в используемом алфавите, тем длиннее сообщение.
Так, например, в алфавите азбуки Морзе всего три знака (точка, тире, пауза), поэтому для кодирования каждой русской или латинской буквы нужно использовать несколько знаков, и текст, закодированный по Морзе, будет намного длиннее, чем при обычной записи.
Пример:
Сигнал SOS: 3 знака в латинском алфавите;
11 знаков в алфавите Морзе: ··· пауза – – – пауза ···.

Количество информации, которое несет в тексте каждый символ (i), вычисляется из уравнения Хартли:
2i = N,
где N – мощность алфавита.
Величину i можно назвать информационным весом символа.
Отсюда следует, что количество информации во всем тексте (I), состоящем из К символов, равно произведению информационного символа на К:
I = i * K.
Эту величину можно назвать информационным объемом текста.

Какова минимальная мощность алфавита, с помощью которого можно записывать
(кодировать информацию)?

Односимвольный алфавит
Сообщение любой длины, использующее односимвольный алфавит, содержит нулевую информацию.
Доказательство:
Предположим, что используемый алфавит состоит из одного символа, например, «1».
Интуитивно понятно, что сообщить что-либо с помощью единственного символа невозможно.
Но это же доказывается строго с точки зрения алфавитного подхода.
Информационный вес символа в таком алфавите находится из уравнения:
2i = 1
Но поскольку
1 = 20,
то отсюда следует, что
i = 0 бит

Пример
Представьте себе толстую книгу в 1000 страниц, на всех страницах которой написаны одни единицы (единственный символ используемого алфавита).
- Сколько информации в ней содержится?
Ответ: Нисколько, ноль.
11111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111

Минимальная мощность алфавита
Минимальная мощность алфавита, пригодного для передачи информации, равна 2.
Такой алфавит называется двоичным алфавитом.
Информационный вес символа в двоичном алфавите легко определить.
Поскольку
2i = 2,
то i = 1 бит
Итак, один символ двоичного алфавита несет 1 бит информации.
1 бит – исходная единица измерения информации.

Мощность русского алфавита
Каждая буква русского алфавита
(если считать, что е = ё)
несет информацию 5 бит
(32 = 25).

Компьютерный алфавит
Современный компьютер может обрабатывать числовую, текстовую, графическую, звуковую и видео информацию.
Все эти виды информации в компьютере представлены в двоичном коде, т. е. используется алфавит мощностью два (всего два символа 0 и 1).
Связано это с тем, что удобно представлять информацию в виде последовательности электрических импульсов: импульс отсутствует (0), импульс есть (1).
Такое кодирование принято называть двоичным, а сами логические последовательности нулей и единиц - машинным языком.

Байт
Компьютер для внешнего представления текстов и другой символьной информации использует
алфавит мощностью
256 символов.
Байт вводится как информационный вес символа из алфавита мощностью 256.
Так как
256 = 28,
то 1 байт = 8 бит.

Производные единицы измерения информации
Килобайт больше байта в 1024 раза, а число 1024 = 210.
При приближенных вычислениях можно использовать коэффициент 1000.
1 Мегабайт (1 Мб) = 1024 Кбайт ≈ 1000 Кб
1 Гигабайт (1Гб) = 1024 Мбайт ≈ 1000 Мб
1 Терабайт (1Тб) = 1024 Гигабайт ≈ 1000 Гб
1 Петабайт (Пб) = 1024 Терабайт ≈ 1000 Тб