Количество информации как мера уменьшения неопределенности знания

Информация может быть определена
Полностью
Частично – решение задачи сводится к доопределению параметров.
Не определена – требуется поиск, сбор информации.

Информативность сообщения
Сообщение информативно (содержит ненулевую информацию), если оно понятно и несет новые знания.
Сообщения уменьшают неопределенность знания.

Когда ни один из множества вариантов не имеет преимущества перед другим, тогда говорят, что эти два события равновероятные
Для определения количества информации i, содержащейся в сообщении о том, что произошло одно из N равновероятных событий, нужно решить показательное уравнение: 2 i=N
Содержательный подход к измерению информации

Подбрасывание монетки
События, уменьшающие неопределенность знаний в два раза, несет 1 бит информации.
Неопределенность знаний о некотором событии – это количество возможных результатов событий.
Содержательный подход к измерению информации
Решка – орел
Грани кубика. Вероятность выпадения одной из граней составляет для каждой
1/6 1/6 1/6 1/6 1/6 1/6
N=6 N = , где i – информативность одного события

Содержательный подход к измерению информации
Количество информации можно рассматривать как меру уменьшения неопределенности знания при получении информационных сообщений.
За единицу количества информации принимается такое количество информации, которое содержится в информационном сообщении, уменьшающем неопределенность знания в два раза.

Практическая работа № 0.1
Измерение информации
Задача 1:
Имеется доска (поле) 8х8. Рассмотреть вероятность каждого последующего события при игре в «крестики-нолики»
8х8=64 (события)
Вероятность первого - I=6 бит

Практическая работа № 0.1
Измерение информации
Задача 1:
Для следующего хода осталось 63 возможных события.
Вероятность второго - I <6 бит
Для следующего хода осталось 62 возможных события.
Вероятность третьего меньше вероятности второго.
С каждым ходом неопределенность уменьшается.
События не равновероятные.

Практическая работа № 0.1
Измерение информации
Задача 2:
Какое количество информации получит второй игрок после первого хода первого игрока в игре «крестики-нолики» на поле размером 4х4?

Практическая работа № 0.1
Измерение информации
Задача 3:
Каково было количество возможных событий, если после реализации одного из них мы получили количество информации, равное 3 битам? 7 битам?