Основы теории информации
Основы теории информации В окружающей действительности часто встречаются ситуации, когда может произойти число событий, большее чем два. Причем не всегда события равновероятны. Очевидно, что чем больше начальное число возможных событий, тем больше начальная неопределённость нашего знания и тем большее количество информации будет содержать сообщение о результатах опыта. Таким образом, математическая функция, связывающая количество возможных событий N и количество информации I , заключающееся в произошедшем событии, должна обладать тремя свойствами: 1. С ростом N функция должна монотонно возрастать. 2. При N равном 1, т.е. когда неопределенности знания нет (только одно возможное событие), эта функция равна 0 (количество информации равно нулю). 3. Если два независимых набора возможных событий N и M объедены в один набор, из которого могут одновременно реализоваться пара событий, то неопределенность знания объединенного набора равна сумме неопределенностей исходных наборов событий N и M. Существует только одна такая функция – логарифмическая. Основы теории информации Если все из возможных событий N равновероятны, то количество информации I выражается формулой: Выбор основания логарифма диктуется тем, какую единицу измерения количества информации мы хотим использовать. Чаще всего применяется основание 2. При этом единица количества информации называется двоичной единицей или битом, и представляет собой информацию, содержащуюся в одном событии из двух равновероятных событий (N=2). Другими словами, бит – это такое количество информации, которое содержит сообщение, уменьшающее неопределённость знания в 2 раза. Компьютер оперирует числами в двоичной системе счисления, поэтому в кратных единицах измерения количества информации используется коэффициент 2n.