Определение количества информации

Содержание

Слайд 2

Как измерить информацию?

Вопрос этот очень непростой.
Ответ на него зависит от

Как измерить информацию? Вопрос этот очень непростой. Ответ на него зависит от
того, что понимать под информацией. Но поскольку определять информацию можно по-разному, то и способы измерения тоже могут быть разными.

Слайд 4

Содержательный подход к измерению информации.

Для человека информация — это знания. Если получение

Содержательный подход к измерению информации. Для человека информация — это знания. Если
новой информации приводит к расширению знаний, то можно говорить, что такое сообщение содержит информацию.
Говорят, что сообщение информативно если оно пополняет знания человека.
Например, прогноз погоды на завтра — информативное сообщение, а сообщение о вчерашней погоде неинформативно, т.к. нам это уже известно.

Основоположником этого подхода является американский учёный Клод Элвуд Шеннон(1916 — 2001).
По Шеннону, информация — уменьшение неопределенности наших знаний.
Неопределенность некоторого события — это количество возможных исходов данного события.
Так, например, если из колоды карт наугад выбирают карту, то неопределенность равна количеству карт в колоде.
При бросании монеты неопределенность равна 2.

Слайд 5

Единица измерения информации была определена в науке, которая называется теорией информации. Эта

Единица измерения информации была определена в науке, которая называется теорией информации. Эта
единица носит название «бит». Ее определение звучит так:
Сообщение, уменьшающее неопределенность знаний в два раза, несет 1 бит информации.
Неопределенность знаний о некотором событии — это количество возможных результатов события.

Содержательный подход к измерению информации.

Тогда можно записать формулу:
2i = N
N - количество событий
i - количество информации одного события

Слайд 6

Пример:

На книжном стеллаже восемь полок. Книга может быть поставлена на любую

Пример: На книжном стеллаже восемь полок. Книга может быть поставлена на любую
из них. Сколько информации содержит сообщение о том, где находится книга?
Решение:
N = 8. i - ?
2i = N
2i = 8
2i = 23
i = 3 бита
Ответ: сообщение о том, что книга находится на любой из полок равно 3 бита.

Слайд 7

Алфавитный подход к измерению информации

Алфавитный подход к измерению количества информации основан на

Алфавитный подход к измерению информации Алфавитный подход к измерению количества информации основан
подсчете числа символов в сообщении.
При алфавитном подходе к определению количества информации отвлекаются от содержания информации и рассматривают информационное сообщение как последовательность знаков определенной знаковой системы.
Все множество используемых в языке символов будем традиционно называть алфавитом.
Обычно под алфавитом понимают только буквы, но поскольку в тексте могут встречаться знаки препинания, цифры, скобки, то мы их тоже включим в алфавит. В алфавит также следует включить и пробел, т.е. пропуск между словами.
Полное количество символов алфавита принято называть мощностью алфавита.
В формуле
2i = N
N - мощность алфавита
i - количество информации одного символа

Слайд 8

Алфавитный подход к измерению информации

Основоположником этого подхода является Андрей Николаевич Колмогоров,(1903-1987), великий

Алфавитный подход к измерению информации Основоположником этого подхода является Андрей Николаевич Колмогоров,(1903-1987),
российский ученый-математик.

При алфавитном подходе к измерению информации количество информации зависит не от содержания, а от размера текста и мощности алфавита.

Информационный объем текста (I), содержащего K символов вычисляют по формуле:
I=K*i
где I - информационный объем текста,
K - количество символов в тексте,
i - информационный объем одного символа.

Слайд 9

Пример:

Определите информационный объем страницы книги, если для записи текста использовались только заглавные

Пример: Определите информационный объем страницы книги, если для записи текста использовались только
буквы русского алфавита, кроме буквы Ё.
Решение:
N = 32
2i = N
2i = 32
2i = 25
i = 5 бит
На странице 3000 знаков,т.е. К=3000,
тогда объем информации I =K * i
I = 3000 * 5 ,
I = 15000 бит.
Ответ: информационный объем страницы книги равен 15000 бит.

Слайд 10

Единицы измерения

1 килобайт = 1Кб=210 байт =1024 байта;
1 мегабайт = 1Мб=

Единицы измерения 1 килобайт = 1Кб=210 байт =1024 байта; 1 мегабайт =
210 Кб = 220 байта;
1 гигабайт = 1Гб = 210 Мб = 230 байта;
1 Терабайт (Тб) = 210 Гбайта = 240 байта,
1 Петабайт (Пб) = 210 Тбайта = 250 байта.

1 байт = 8 бит

Слайд 11

А что если алфавит состоит только из двух символов 0 и 1?
В

А что если алфавит состоит только из двух символов 0 и 1?
этом случае: N = 2; 2i = N; 2i = 2; i = 1бит.
При использовании двоичной системы (алфавит состоит из двух знаков: 0 и 1) каждый двоичный знак несет 1 бит информации.
Интересно, что сама единица измерения информации «бит» получила свое название от английского сочетания «binary digit» - «двоичная цифра».

Двоичный алфавит

Достаточный алфавит

Ограничения на максимальный размер алфавита теоретически не существует. Однако есть алфавит, который можно назвать достаточным. С ним мы скоро встретимся при работе с компьютером. Это алфавит мощностью 256 символов. В алфавит такого размера можно поместить все практически необходимые символы: латинские и русские буквы, цифры, знаки арифметических операций, всевозможные скобки, знаки препинания....
В этом случае: N = 256; 2i = N; 2i = 256; 2i = 28; i = 8бит.
Один символ этого алфавита «весит» 8 бит или 1байт, т.к.
1 байт = 8 бит

Примеры некоторых алфавитов.

Имя файла: Определение-количества-информации.pptx
Количество просмотров: 46
Количество скачиваний: 0