Измерение информации

Три кита на которых стоит мир
Вещество
Энергия
Информация
Можно ли измерить вещество?
Например:
длина (мм, см, дм, м,…
вес (мг, г, кг,…
объем (мм3, см3,…
Можно ли измерить энергию?
Например:
тепловая энергия,
электроэнергия (Дж)
Как измерить количество информации?
Какие единицы измерения?

Информация - это сведения об окружающем мире и протекающих в нем процессах.
Информативным назовем сообщение, которое пополняет знания человека, т.е. несет для него информацию.
«Старые» сведения ⇒ знания не пополнят, т. е. сообщение неинформативно
(количество информации = 0)
Новые сведения ⇒ пополнят знания, т. е. сообщение информативно
(количество информации > 0)
5*7=35
Понятное/ новое ⇒ сообщение информативно
(количество информации > 0)
Непонятное ⇒ сообщение неинформативно
(количество информации = 0)
Logax+Logay= loga(xy)
СООБЩЕНИЕ

Сообщение несет информацию для человека (информативно), если содержащиеся в нем сведения являются для него новыми и понятными.
Вывод:
Зависит от человека (субъективно)

Для того, чтобы измерить информацию объективно,
нельзя опираться на её содержание

Алфавитный (объёмный) подход к измерению информации

Алфавитный подход
Алфавитный подход позволяет измерять количество информации в тексте (символьном сообщении), составленном из символов некоторого алфавита.
Информационный объём сообщения не зависит от содержания (объективный подход)
Используется в технике

Алфавит – набор знаков, используемых при кодировании информации с помощью некоторого языка.
Примеры: АБВГДЕЁЖЗИЙКЛМНОПРСТУФХЦЧШЩЪЫЬЭЮЯ
ABCDEFGHIJKLMNOPQRSTUVWXYZ
- +
0123456789
Алфавит - ?
Мощность алфавита – количество символов в алфавите (N).
N=33
N=26
N=2
N=10

Алфавитный подход
Каждый символ имеет свой информационный вес
текст записан с помощью символов некоторого алфавита (различаются своей мощностью) ⇒ вес символа зависит от мощности алфавита
Б

Какова минимальная мощность алфавита, с помощью которого можно записывать (кодировать) информацию?
× 0
0 1
- +
Да нет
Двоичный алфавит

Информационный вес символа двоичного алфавита принят за единицу информации – 1 бит
Двоичный алфавит
0
1

Информация, записанная на машинном языке, весит:
011 100 1
010 011
101
011 001 101 111 01
7 бит
6 бит
3 бита
14 бит

Символ
Двоичный код
Информационный вес символа = длине двоичного кода
Например: 11101000111011011111010011101110111100001110110011100000111101101110100011111111 содержит 40 бит информации

Сколько символов можно закодировать двумя битами?
0 0
0 1
1 0
1 1
Значит в алфавите мощностью 4 символа
информационный вес каждого символа - 2 бита.

Сколько символов можно закодировать тремя битами?
0 0 0
0 0 1
0 1 0
0 1 1
Значит в алфавите мощностью 8 символов
информационный вес каждого символа - 3 бита.
1 0 0
1 0 1
1 1 0
1 1 1

Единицы измерения информации
КОМПЬЮТЕРНЫЙ АЛФАВИТ
русские буквы
латинские буквы
цифры (1, 2, 3, 4, 5, 6, 7, 8, 9, 0)
математические знаки (+, -, *, /, ^, =)
прочие символы («», №, %, <, >, :, ;, #, &)
Компьютерный алфавит содержит 256 символов. 256 = 28 ⇒ i=8 битов
1 байт - информационный вес символа
алфавита мощностью 256.
1 байт = 8 битов
1 бит – минимальная единица измерения информации

Единицы измерения информационного объёма
1 байт = 23бит = 8 бит
1 Кбайт = 210байт = 1024 байт
1 Мбайт = 210Кбайт = 1024 Кбайт
1 Гбайт = 210Мбайт = 1024 Мбайт
1 Тбайт = 210Гбайт = 1024 Гбайт

1 байт (bytе) = 8 бит
1 Кбайт (килобайт) = 1024 байт =210 байт
1 Мбайт (мегабайт) = 1024 Кбайт
1 Гбайт (гигабайт) = 1024 Мбайт
1 Тбайт (терабайт) = 1024 Гбайт
1 Пбайт (петабайт) = 1024 Тбайт
Единицы измерения информации
умножение
деление

КРУПНАЯ
ЕДИНИЦА
Перевод из крупных единиц в мелкие
10 байт =
МЕЛКАЯ
ЕДИНИЦА
*
Переведите в биты:
80 бит

КРУПНАЯ
ЕДИНИЦА
32 бита =
МЕЛКАЯ
ЕДИНИЦА
:
Перевод из мелких единиц в крупные
Переведите в байты:
4 байта

Перевод в другие единицы
3 Кбайта =
3 ·1024 байт = 3072 байта
? байт
15 байт =
? бит
15 · 8 бит = 120 бит
2048 Кбайт =
? Мбайт
2048 :1024Мбайт = 2 Мб
1024 Mбайт =
? Гб
1024 :1024 Гб=1Гб
1Кбайт =
? бит
1 · 1024 ·8 бит = 8192 бита
байт

Зависимость между мощностью алфавита N и информационным весом символа i
Заметим, что 2 = 21, 4 = 22, 8 = 23, 16 = 24.
Информационный вес каждого символа, выраженный в битах (i), и мощность алфавита (N) связаны между собой формулой:
N = 2i

Задачи
N = 2i
№1
N=2
Найти i
Решение:
2=2i
i=1 бит
№2
N=8
Найти i
Решение:
8=2i
i=3 бита
№3
N=32
Найти i
Решение:
i=5 бит
№4
i=7 битов
Найти N
Решение:
N=27
N=128 символов

Информационный объём сообщения
Количество символов (знаков) в тексте
Информационный вес одного символа (знака)
Информационный объём сообщения

Алгоритм вычисления информационного объема сообщения
Определяем мощность алфавита N;
Вычисляем информационный вес символа i (бит) :
N = 2i
3) Вычисляем информационный объем сообщения:
где К – количество символов в сообщении.
I = К·i

Информационный объём текста
Сообщение, записанное буквами из 64-символьного алфавита, содержит 2000 символов. Какой объём информации оно несет?
Дано: К=2000, N=64
Найти: I - ?
Решение:
N=2i
64=2i
i=6 (бит) – информационный вес одного символа.
I=К*i
I=2000*6=12000 (бит)
Ответ: 12000 бит.

Сколько килобайтов составит сообщение из 2048 символов 16-ти символьного алфавита
Дано: К=2048, N=16
Найти: I - Кб?
Задача №1
Ответ: 1 Кбайт.
16=2i
i=4 (бита) – информационный вес одного символа.
Решение:
I=К*i
N=2i
2
1
1
2
1 Кбайт

Информационный объём сообщения равен 3 Кб. Информационный вес символа – 32 бита. Сколько символов содержит сообщение?
Дано: I=3 Kб,
i= 32 бита
Найти: К?
Ответ: 768 символов
Задача №2
Решение:
I=К*i
К=I/i
К

Основные понятия
Алфавитный подход позволяет измерить объём информации не зависимо от её содержания.
Каждый символ несёт некоторое количество информации и имеет информационный вес (i).
Минимальная единица измерения информации – 1 бит.
Мощность алфавита и информационный вес символа связаны отношением: N = 2i.
Информационный объём сообщения вычисляется по формуле: I = К*i.
1 байт = 8 бит
Байты, килобайты (КБ), мегабайты (МБ),
гигабайты (ГБ), терабайты (ТБ) – единицы измерения информации. Каждая в 1024 раза больше предыдущей.

Содержательный подход к измерению информации

Содержательный подход к измерению информации
Клод Элвуд Шеннон
Информация — уменьшение неопределенности наших знаний.
Неопределенность знания некоторого события — это число возможных вариантов результата .
Равновероятные события –
ни одно из них не имеет преимущества перед другими.

Единица измерения информации
Сообщение о том, что произошло одно событие из двух равновероятных, несет 1 бит информации
Книга лежит на одной из двух полок ⇒ неопределенность знаний равна 2
Сообщение о том, что книга лежит на верхней полке уменьшает неопределенность в два раза ⇒ данное сообщение несет 1 бит информации
При бросании монеты неопределенность равна 2 ⇒ сообщение о том, что выпал «Орёл» несет 1 бит информации

В ящике лежат 4 шара.
Какое количество информации несет сообщение
«Достали красный шар»
?

Формула Хартли
(для равновероятных событий)
2i = N
N – неопределённость знаний, т.е. число возможных результатов (вариантов сообщения)
i – количество информации в сообщении о том, что произошло одно из N равновероятных событий

В ящике лежат 4 шара.
Какое количество информации несет сообщение
«Достали красный шар»
N=4
2i=4 i=2 (бита)
?

1.В классе 32 ученика. Какое количество информации содержится в сообщении о том, что к доске пойдет Коля Сидоров?
N = 2i
32 = 2i
i = 5 бит
N = 32
i - ?
2.Сообщение о том, что ваш друг живет на 5 этаже, несет 4 бита информации. Сколько этажей в доме?
i = 4 бита
N - ?
N = 2i
N = 24
N = 16 этажей
Задачи