Понятие информации. Количество информации. Урок 1

Понятие информации
Теория информации - вторая половина XX века
Клод Э́лвуд Ше́ннон (США)
Андре́й Никола́евич Колмого́ров (Россия)
Ральф Винтон Лайон Хартли (США)

Понятие информации
Информация — это сведения, обладающие такими характеристиками, как понятность, достоверность, новизна и актуальность
(с точки зрения человека)
Информация — это снятая неопределенность
(по К. Шеннону)
Информационный объем сообщения — количество двоичных символов, которое используется для кодирования этого сообщения.
Количество информации - минимально возможное количество двоичных знаков, необходимых для кодирования последовательности к содержанию представленного сообщения
(по А.Н. Колмогорову)

Единицы измерения информации
За единицу измерения информации принят
1 бит (от англ. Binary digit)
1 бит — это количество информации, которое можно передать в сообщении, состоящем из одного двоичного знака (0 или 1) — алфавитный подход
1 бит — это количество информации, уменьшающее неопределенность знаний в два раза — содержательный подход
1Кб (килобайт) = 210 байт = 1024 байт
1Мб (мегабайт) = 210 Кб = 1024 Кб
1Гб (гигабайт) = 210 Мб = 1024 Мб
1Тб (терабайт) = 210 Гб =1024 Гб

ВОПРОСЫ И ЗАДАНИЯ
Расскажите, как вы понимаете термин «информация». Что общего и каковы различия между бытовым понятием этого термина и его научными трактовками?
При игре в кости используется два игральных кубика, грани которых помечены числами от 1 до 6. В чем заключается неопределенность знаний о бросании одного кубика? Двух кубиков одновременно?
Сколько гигабайт содержится в 2 18 килобайтах?
Сколько мегабайт содержится в 2 20 килобитах?

Формула Хартли определения информации.
Урок 2.

Закон аддитивности. Алфавитный подход к измерению информации.
Урок 3.

Закон аддитивности. Алфавитный подход к измерению информации.
Согласно основному логарифмическому тождеству:
Закон аддитивности информации:
Количество информации необходимое для установления пары (х1, х2), равно сумме количеств информации необходимых для независимого установления элементов х1 и х2.
ПРИМЕР 4 с. 267
Количество информации, содержащееся с одном символе, называется его информационным весом и рассчитывается по формуле Хартли

Закон аддитивности. Алфавитный подход к измерению информации.
Согласно основному логарифмическому тождеству:
Закон аддитивности информации:
Количество информации необходимое для установления пары (х1, х2), равно сумме количеств информации необходимых для независимого установления элементов х1 и х2.
ПРИМЕР 4 с. 267
Количество информации, содержащееся с одном символе, называется его информационным весом и рассчитывается по формуле Хартли

Закон аддитивности. Алфавитный подход к измерению информации.
Согласно закону аддитивности, количество информации, содержащееся в сообщении, состоящем из m символов одного и того же алфавита, равно
ПРИМЕР 5, 6 стр. 268
Дома: §5.4 прочитать, №1,6 с. 269

Оптимальное кодирование информации
и её сложность.
Урок 7.
ОСНОВЫ ТЕОРИИ ИНФОРМАЦИИ

Оптимальное кодирование информации и её сложность.
Задача современной информатики — кодирование информации наиболее коротким образом.
(показывает средний информационный вес символов того или иного алфавита или энтропию распределения частот появления символов)
Не существует универсального способа кодирования произвольного файла с частотными характеристиками встречающихся символов, который бы обеспечивал сжатие до величины меньшей, чем Н.
Алгоритм RLE
Алгоритм Хафмана
Арифметическое кодирование
Формула Шеннона
1948 г.

Оптимальное кодирование информации и её сложность.
Построение одного из универсальных алгоритмов кодирования
1 способ
{длина кода, код}{длина кода, код}...{длина кода, код}
Код Rice и Дельта-код
2 способ
Префиксный код
(код одного символа не может быть началом кода другого символа)
Различные символы встречаются в тексте с различной частотой, то естественно кодировать их так, чтобы те которые встречаются чаще кодировались более коротко, а другие — длиннее (неравномерный код)
ПРОБЛЕМА. Как понять, где кончился код одного символа и начался другой?

Оптимальное кодирование информации и её сложность.
1. Префиксный код Хаффмана
Наиболее применимый алгоритм построения префиксного кода для произвольного алфавита
(Доказательство на с. 278-279 пособия)
Дэвид Хаффман
(1925-1999)

Оптимальное кодирование информации и её сложность.
2. Сжатие файлов на основе анализа сложности (RLE, LZ)
Например: последовательность 01010101010101 является менее сложной, чем 1001110000, т. к. первую можно заменить на более короткую, построенную по другим правилам: 7(01)=1112(01), а пути сокращения второй — не очевидны.
Является ли число π =3,14159256... сложным?
π = длина любой окружности / её диаметр