Теория информации. Лекции

Теория информации, связь с информационными системами.
Информационная система (ИС) - автоматизированная система, предназначенная для организации, хранения, пополнения, поддержки и представления пользователям информации в соответствии с их запросами.

Информация — нематериальная сущность, при помощи которой с любой точностью можно описывать реальные (материальные), виртуальные (возможные) и понятийные сущности.
Информация — противоположность неопределенности.
Информация (по Шеннону) – снятая неопределенность.
Информация имеет количественную оценку.
Сообщение – форма представления информации.
Понятие сообщение = понятие случайной величины
Понятие последовательность сообщений = случайный процесс.

Энтропия как мера степени неопределенности
Энтропией называется величина, вычисляемая по формуле:
Система X x1,x2,...xn
множество состояний с вероятностями p1,p2,...pn
p € [0,1].

Рассмотрим систему, которая имеет n равновероятных состояний:

СВОЙСТВА ЭНТРОПИИ
Энтропия – величина вещественная, ограниченная, неотрицательная
Система имеет максимальную энтропию при равновероятном распределении состояний
Система имеет минимальную энтропию при наличии достоверного состояния

Энтропия и информация
Энтропия была определена как мера неопределенности состояния некоторой физической системы. Очевидно, что в результате получения
сведений неопределенность системы может быть уменьшена. Чем больше объем полученных сведений, чем они более содержательны, тем больше будет информация о системе, тем менее неопределенным будет ее состояние. Естественно поэтому количество информации измерять уменьшением энтропии той системы, для уточнения состояния которой предназначены сведения. Рассмотрим некоторую систему X, над которой производится наблюдение, и оценим информацию, получаемую в результате того, что состояние системы X становится полностью известным. До получения сведений (априори) энтропия системы была Н (X); после получения сведений состояние системы полностью определилось, т. е. энтропия стала равной нулю. Обозначим Ix информацию, получаемую в результате выяснения состояния системы X. Она равна уменьшению энтропии: или
количество информации, приобретаемое при полном выяснении состояния
некоторой физической системы, равно энтропии этой системы.

Модель процесса передачи. Двоичный симметричный канал

Общая схема передачи информации

Способы повышения надежности передачи сообщений
011011100110
111011100110