Подходы к понятию информации и измерению информации. Алфавитный подход к измерению информации

Подходы к понятию информации

Существует два подхода к измерению информации:
содержательный (вероятностный);
объемный (алфавитный).

Содержательный (вероятностный) подход к измерению информации
Количество информации можно рассматривать как меру уменьшения неопределенности знания при получении информационных сообщений.
Количество информации достигает максимального значения, если события равновероятны (вероятность - ½)

Главная формула информатики
связывает между собой количество возможных информационных сообщений N и количество информации I, которое несет полученное сообщение:
N = 2I

За единицу количества информации принимается такое количество информации, которое содержится в информационном сообщении, уменьшающем неопределенность знания в два раза.
Такая единица названа бит.
Бит – наименьшая единица измерения информации.

С помощью набора битов можно представить любой знак и любое число. Знаки представляются восьмиразрядными комбинациями битов – байтами.
1байт = 8 битов=23битов
Байт – это 8 битов, рассматриваемые как единое целое, основная единица компьютерных данных.

Рассмотрим, каково количество комбинаций битов в байте.
Если у нас две двоичные цифры (бита), то число возможных комбинаций из них:
22=4: 00, 01, 10, 11
Если четыре двоичные цифры (бита), то число возможных комбинаций:
24=16: 0000, 0001, 0010, 0011,
0100, 0101, 0110, 0111,
1000, 1001, 1010, 1011,
1100, 1101, 1110, 1111

Так как в байте- 8 бит (двоичных цифр), то число возможных комбинаций битов в байте:
28=256
Т.о., байт может принимать одно из 256 значений или комбинаций битов.

Для измерения информации используются более крупные единицы:
килобайты, мегабайты, гигабайты, терабайты и т.д.
1 Кбайт =1 024 байт
1 Мбайт = 1 024 Кбайт
1 Гбайт = 1 024 Мбайт
1 Тбайт = 1 024 Гбайт

Алфавитный (объемный ) подход
к измерению информации
Это объективный,
количественный метод для измерения информации, циркулирующей в информационной технике.

Алфавит- множество символов, используемых для представления информации.
Мощность алфавита – число символов в алфавите
(его размер) N.

Например, алфавит десятичной системы счисления – множество цифр- 0,1,2,3,4,5,6,7,8,9.
Мощность этого алфавита – 10.
Компьютерный алфавит, используемый для представления текстов в компьютере, использует 256 символов.
Алфавит двоичной системы кодирования информации имеет всего два символа- 0 и 1.
Алфавиты русского и английского языков имеют различное число букв, их мощности – различны.

Информационный вес символа (количество информации в одном символе), выраженный в битах (i), и мощность алфавита (N) связаны между собой формулой:
N = 2i
где N – это количество знаков в алфавите
знаковой системы или мощность
Тогда информационный вес символа:
i = log2N

Информационная емкость знаков зависит от их количества в алфавите. Так, информационная емкость буквы в русском алфавите, если не использовать букву «ё», составляет:
32 = 2I , I = 5 бит
В латинском алфавите 26 букв. Информационная емкость буквы латинского алфавита также 5 бит (ответить на вопрос: Как получилось 5 бит?).

Количество информации в сообщении или информационный объём текста- Ic, равен количеству информации, которое несет один символ - i, умноженное на количество символов K в сообщении:
Iс = K * i
БИТ

Например, в слове «информатика» 11 знаков (К=11), каждый знак в русском алфавите несет информацию 5 битов (I=5), тогда количество информации в слове «информатика» Iс=5х11=55 (битов).
С помощью формулы N = 2I можно определить количество информации, которое несет знак в двоичной знаковой системе: N=2 ⇒ 2=2I ⇒ 21=2I ⇒ I=1 бит
Таким образом, в двоичной знаковой системе 1 знак несет 1 бит информации. При двоичном кодировании объем информации равен длине двоичного кода.
Чем большее количество знаков содержит алфавит знаковой системы, тем большее количество информации несет один знак.

ЗАДАЧИ
Алфавит племени состоит из 8 букв. Какое количество информации несёт одна буква этого алфавита?
Дано: N=8
Найти: i
Решение: Т.к. i = log2N, то i=log28 =3
Ответ : одна буква несёт в себе 3
бита информации

ЗАДАЧИ
Сообщение, записанное буквами 64-х символьного алфавита, содержит 20 символов.
Какой информационный объём оно несёт?
Решение : i = log2N = log264 = 6 (бит 1 символ)
6*20=120
Ответ: сообщение несёт объем информации, равный 120 бит

Остальные задачи решите
самостоятельно!!!
УСПЕХА!!!!

ЗАДАЧА 1
Племя А имеет 32-х символьный алфавит. Племя В использует 64-х символьный алфавит. Вожди племён обменялись письмами.
Письмо племени А содержало 80 символов, а письмо племени В – 70 символов. Сравните объёмы информации, содержащейся в письмах.

ЗАДАЧА 2
Приветствие участникам олимпиады от марсиан записано с помощью всех символов марсианского алфавита:
ТЕВИРП!КИ!
Сколько информации оно несёт?