новой информации приводит к расширению знаний, то можно говорить, что такое сообщение содержит информацию.
Говорят, что сообщение информативно если оно пополняет знания человека.
Например, прогноз погоды на завтра — информативное сообщение, а сообщение о вчерашней погоде неинформативно, т.к. нам это уже известно.
Основоположником этого подхода является американский учёный Клод Элвуд Шеннон(1916 — 2001).
По Шеннону, информация — уменьшение неопределенности наших знаний.
Неопределенность некоторого события — это количество возможных исходов данного события.
Так, например, если из колоды карт наугад выбирают карту, то неопределенность равна количеству карт в колоде.
При бросании монеты неопределенность равна 2.