Мера информации

Информация - сведения об объектах и явлениях окружающей среды, их параметрах, свойствах и состоянии, которые уменьшают имеющуюся о них степень неопределенности, неполноты знаний.
Информация
Данные
связанные между собой сведения, данные, понятия, изменяющие наши представления о явлении или объекте окружающего мира.
могут рассматриваться как признаки или записанные наблюдения, которые по каким-то причинам не используются, а только хранятся.
?
Пример 1

Данные можно разделить на факты, правила и текущие сведения. Факты отвечают на вопрос "я знаю, что…"
Примеры фактов:
Москва - столица России;
Дважды два равно четыре;
Квадрат гипотенузы равен сумме квадратов катетов.
Правила отвечают на вопрос "я знаю, как…". Примеры правил:
Правила вычисления корней квадратного уравнения;
Инструкция пользования банкоматом;
Правила дорожного движения.
Факты и правила представляют достаточно данные длительного использования. Они достаточно статичны, т. е. не изменчивы во времени.
Текущие сведения представляют данные, употребляемые в относительно короткий промежуток времени - курс доллара, цена товара, новости.

При работе с информацией всегда имеется ее источник и потребитель (получатель). Пути и процессы, обеспечивающие передачу сообщений от источника информации к ее потребителю называются информационными коммуникациями.

Формы адекватности информации
В реальной жизни вряд ли возможна ситуация, когда вы сможете ориентироваться на полную адекватность информации. Всегда присутствует некоторая степень неопределенности. От степени адекватности информации реальному состоянию объекта или процесса зависит правильность принятия решений потребителем.
Пример 2

Синтаксическая адекватность
отображает формально-структурные характеристики информации и не затрагивает смыслового содержания. На синтаксическом уровне учитываются тип носителя и способ представления информации, скорость передачи и обработки, размеры кодов представления информации, надежность и точность преобразования этих кодов и т. п. Информацию, рассматриваемую только с синтаксических позиций, обычно называют данными, т. к. при этом не имеет значения смысловая сторона. Эта форма способствует восприятию внешних структурных характеристик, т. е. синтаксической стороны информации.

Семантическая (смысловая) адекватность
Семантическая адекватность определяет степень соответствия образа объекта и самого объекта. Семантический аспект имеет в виду учет смыслового содержания информации. На этом уровне анализируются те сведения, которые отражает информация, рассматриваются смысловые связи. В информатике устанавливаются смысловые связи между кодами представления информации. Эта форма служит для формирования понятий и представлений, выявления смысла, содержания информации и ее обобщения.
Семантический или смысловой способ измерения количества информации использует понятие
Тезауруса – совокупности сведений, которыми располагает пользователь или система распознавания информации.

Если тезаурус S→ 0, то поступающая информация для пользователя (системы) бесполезна, т.к. пользователь (система)
не знает, как её интерпретировать.
Если же тезаурус S→ ∞, то поступающая информация для пользователя (системы) также бесполезна, т.к. пользователь (система) уже всё знает. Т.е. зависимость количества получаемой семантической информации имеет максимум и спадающие, по обе стороны от него, участки.
Отношение количества семантической
информации к общему объёму данных принято называть относительной мерой количества семантической информации.

Прагматическая (потребительская) адекватность
Прагматическая адекватность отражает отношение информации и ее потребителя, соответствие информации цели управления, которое на ее основе реализуется. Проявляются прагматические свойства информации только при наличии единства информации (объекта), пользователя и цели управления. Прагматический аспект рассмотрения связан с ценностью, полезностью использования информации для выработки потребителем решения для достижения своей цели. С этой точки зрения анализируются потребительские свойства информации. Эта форма адекватности непосредственно связана с практическим использованием информации, с соответствием ее целевой функции деятельности системы.

Для измерения информации вводятся два параметра:
количество информации I ;
объем данных Vд.
Эти параметры имеют разные выражения и интерпретацию в зависимости от рассматриваемой формы адекватности. Каждой форме адекватности соответствует своя мера количества информации и объема данных (рис. 1).

Рис. 1. Меры информации

Энтропия
Энтропия — это количество информации, приходящейся на одно элементарное сообщение источника, вырабатывающего статистически независимые сообщения.
Энтропийный способ измерения информации устанавливает ценность информации, содержащейся в сообщении. Информация и энтропия любой системы
связаны между собой и количественно эквивалентны. Т.е. получение информации сопровождается равносильным уменьшением энтропии, а рост энтропии связан с
потерей информации.

Как измерить информацию
Информация
=
качественные показатели
+
количественные показатели

Как измерить информацию
Измерение
количества информации
Измерение информации
в технике
Технический подход
Измерение информации
в теории информации
Содержательный подход
Уменьшение неопределенности знаний