Кодирование текстовой информации

Двоичное кодирование текстовой информации
В 40-е годы прошлого столетия было положено начало созданию вычислительной машины.
Начиная с 60-х годов, компьютеры все больше стали использовать для обработки текстовой информации и в настоящее время большая часть ПК в мире занято обработкой именно текстовой информации.

Таинственные знаки
+|| ++|||| +++|||
12 24 33

Двоичное кодирование текстовой информации
В памяти компьютера любой текст представляется последовательностью кодов символов, т. е. вместо самой буквы хранится ее номер в кодовой таблице. Изображение же букв и символов сформируется только в момент их вывода на экран или бумагу.

Двоичное кодирование текстовой информации
Кодирование заключается в том, что каждому символу ставиться в соответствие уникальный двоичный код от 00000000 до 11111111 (или десятичный код от 0 до 255).

Кодовые таблицы
Важно, что присвоение символу конкретного кода – это вопрос соглашения, которое фиксируется кодовой таблицей.
Для разных типов ЭВМ используются различные кодировки

Кодовые таблицы
По началу применялось 7-битная кодировка, которая могла представить 128 символов. С распространением IBM PC международным стандартом стала таблица кодировки ASCII (American Standart Code for Information Interchange) – Американский стандартный код для информационного обмена.

Таблица кодировки ASCII
Позже она была расширена до 8 бит (256 символов) и дошла в таком виде практически до сегодняшнего дня. При этом первая половина (символы 0-127) были всегда одни и те же, соответствующие стандарту ASCII, а вторая половина таблицы (символы 128-255) менялась в зависимости от страны, где она использовалась.

Стандартная часть таблицы

Таблица расширенного кода ASCII
Кодировка Windows-1251 (CP1251)

Кодовые таблицы
В Советском Союзе различные организации и сети, имевшие большое влияние на компьютерный и программный рынок тех времен, создавали свои кодировки (т.е. вторые половины таблицы), содержащие русские символы.

Кодовые таблицы для русских букв
В настоящее время существует 5 разных кодовых таблиц для русских букв (КОИ8, СР1251, СР866, Mac, ISO).
Широкое распространение получил новый международный стандарт Unicode, который отводит на каждый символ два байта. С его помощью можно закодировать 65536 (216= 65536 ) различных символов.

Проблемы с кодировками
Проблемы с кодировками делятся на несколько типов. Первый тип - это отсутствие информации о кодировке.

Проблемы с кодировками
Проблемы второго типа - это когда кодировка в файле указана, но конечная программа такой кодировки не знает.

Проблемы с кодировками
Третий тип проблем, наоборот, связан с избытком информации о кодировках. Это актуальная в настоящее время проблема (например, для веб-страниц).

Обратите внимание!
Цифры кодируются по стандарту ASCII в двух случаях – при вводе-выводе и когда они встречаются в тексте. Если цифры участвуют в вычислениях, то осуществляется их преобразование в другой двоичных код.

Обратите внимание!
Возьмем число 57.
При использовании в тексте каждая цифра будет представлена своим кодом в соответствии с таблицей ASCII. В двоичной системе это – 0011010100110111.
При использовании в вычислениях, код этого числа будет получен по правилам перевода в двоичную систему и получим – 00111001.

Информационный объем текста
Сегодня очень многие люди для подготовки писем, документов, статей, книг и пр. используют компьютерные текстовые редакторы. Компьютерные редакторы, в основном, работают с алфавитом размером 256 символов.
В этом случае легко подсчитать объем информации в тексте. Если 1 символ алфавита несет 1 байт информации, то надо просто сосчитать количество символов; полученное число даст информационный объем текста в байтах.

Формулы для расчета информационного объема текста
I=K×i, где
I-информационный объем сообщения
K- количество символов в тексте
i- информационный вес одного символа
2i = N
N- мощность алфавита

Задание 1
Мощность алфавита равна 256. Сколько Кбайт памяти потребуется для сохранения 160 страниц текста, содержащего в среднем 192 символа на каждой странице?

Задание 1’
Мощность алфавита равна 64. Сколько Кбайт памяти потребуется, чтобы сохранить 128 страниц текста, содержащего в среднем 256 символов на каждой странице?

Задание 2
Объем сообщения – 7,5 Кбайт. Известно, что данное сообщение содержит 7680 символов. Какова мощность алфавита?

Задание 2’
Объем сообщения равен 11 Кбайт. Сообщение содержит 11264 символа. Какова мощность алфавита?

Задание 3
Племя Мумбу-Юмбу использует алфавит из букв: α β γ δ ε ζ η θ λ μ ξ σ φ ψ, точки и для разделения слов используется пробел.
Сколько информации несет свод законов племени, если в нем 12 строк и в каждой строке по 20 символов?

Задание 3’
Для кодирования секретного сообщения используются 12 специальных значков-символов. При этом символы кодируются одним и тем же минимально возможным количеством бит. Чему равен информационный объем сообщения длиной в 256 символов?

Вопросы и задания:
В чем заключается кодирование текстовой информации в компьютере?
Закодируйте с помощью ASCII-кода свою фамилию, имя, номер класса.
Считая, что каждый символ кодируется одним байтом, оцените информационный объем следующего предложения из пушкинского четверостишия:
Певец-Давид был ростом мал, Но повалил же Голиафа!