Введение в теорию информации

Определение для взаимной информации между непрерывными случайными величинами легко получить путём обобщения случая дискретных случайных величин:
Для энтропии это оказывается невозможным:
Практически бесконечность энтропии объясняется необходимостью бесконечного числа бит для представления непрерывного диапазона значений. Другими словами говоря, неопределенность реализации одного состояния из бесконечного и несчетного множества состояний бесконечно велика.
6.4.1. ЭНТРОПИЯ И ВЗАИМНАЯ ИНФОРМАЦИЯ НЕПРЕРЫВНЫХ СЛУЧАЙНЫХ ВЕЛИЧИН

Для непрерывных случайных величин вводят понятие дифференциальной энтропии (differential entropy) (иногда обозначают h(X)):
Получается, что не возможно определить абсолютную меру информации, но можно сравнивать разные источники. Например, если рассмотреть равномерное на интервале шириной 1 распределение, то для него
Следовательно, можно считать, что дифференциальная энтропия – относительная величина, показывающая насколько неопределенность появления рассматриваемого сообщения больше или меньше неопределенности появления сообщения, значения которого равновероятны на единичном интервале.
Важно: энтропия непрерывного источника не имеет смысла среднего количества информации на отсчёт, более того, она может быть отрицательной!
6.4.1. ЭНТРОПИЯ И ВЗАИМНАЯ ИНФОРМАЦИЯ НЕПРЕРЫВНЫХ СЛУЧАЙНЫХ ВЕЛИЧИН

Путём обобщения определим условную и совместную энтропию:
Аналогично случаю дискретных случайных величин, очевидно, что
6.4.1. ЭНТРОПИЯ И ВЗАИМНАЯ ИНФОРМАЦИЯ НЕПРЕРЫВНЫХ СЛУЧАЙНЫХ ВЕЛИЧИН

Практический интерес также представляет случай, когда X – дискретная случайная величина, а Y – непрерывная. Очевидно, что если они зависимы, то
Взаимная информация, т.е. количество информации о событии X = xi, которое нам даёт наблюдение Y = y:
Средняя взаимная информация между двумя источниками:
6.4.1. ЭНТРОПИЯ И ВЗАИМНАЯ ИНФОРМАЦИЯ НЕПРЕРЫВНЫХ СЛУЧАЙНЫХ ВЕЛИЧИН

Пример
X – случайная величина с равновероятными значениями x1 = A и x2 = –A. Условные плотности вероятности Y задаются так:
Тогда средняя взаимная информация
6.4.1. ЭНТРОПИЯ И ВЗАИМНАЯ ИНФОРМАЦИЯ НЕПРЕРЫВНЫХ СЛУЧАЙНЫХ ВЕЛИЧИН

Ограниченный по полосе случайный процесс X(t) можно дискретизировать с частотой Найквиста. Для полного преобразования в цифровую форму необходимо выполнить квантование по уровню (аппроксимацию) полученных отсчётных значений. Самый простой способ – равномерное квантование. Например, для квантования на L уровней потребуется R = log2L бит на один отсчёт, если L – целая степень 2 либо R = log2L + 1 – в противном случае.
Если распределение значений X(t) неравномерное, то можно использовать дополнительное кодирование, например кодом Хаффмана.
Очевидно, что в любом случае будут иметь место потери, вызванные ошибкой аппроксимации (искажением (distortion) сигнала), и возможно лишь пытаться их минимизировать.
6.4.2. ЭПСИЛОН-ЭНТРОПИЯ (ФУНКЦИЯ СКОРОСТЬ-ИСКАЖЕНИЕ)

Часто используемой метрикой искажения сигнала (ошибки аппроксимации) является квадратичная метрика:
где xk – истинное значение, – квантованное значение, d() – обозначение для метрики искажения.
Среднее искажение последовательности xn, состоящей из n значений:
При переходе к случайным величинам d() оказывается случайной величиной. Её среднее значение – искажение D, которое при условии стационарность процесса равно:
6.4.2. ЭПСИЛОН-ЭНТРОПИЯ (ФУНКЦИЯ СКОРОСТЬ-ИСКАЖЕНИЕ)

Пусть имеется источник без памяти, описываемый непрерывной случайной величиной X и известна плотность вероятности p(x). Также определён алфавит квантователя и метрика искажения Будем называть минимальное число бит на один отсчёт, достаточное для представления значений X алфавитом с искажением, не превосходящим D, эпсилон-энтропией (функцией скорость-искажение - rate distortion function), R(D), и определять её так:
Понятно, что чем больше допустимое искажение D, тем меньше R(D) и наоборот.
Значение эпсилон-энтропии зависит как от статистики источника p(x), так и от метрики искажения Возможность получения результата в замкнутой форме – редкость.
Третья теорема Шеннона (кодирование источника с ограничением искажения, 1959)
Для источника без памяти, описываемого случайной величиной X, может быть выполнено кодирование со скоростью R и искажением D, только, если R > R(D). Для любого кода, обеспечивающего скорость R < R(D), искажение превышает D.
Иначе говоря, эпсилон-энтропия является нижней границей скорости кодирования при заданном уровне искажения (ошибки аппроксимации).
6.4.2. ЭПСИЛОН-ЭНТРОПИЯ (ФУНКЦИЯ СКОРОСТЬ-ИСКАЖЕНИЕ)

Эпсилон-энтропия гауссовского источника для квадратичной метрики искажения
Выразим ошибку аппроксимации через скорость кодирования и получим функцию искажение-скорость (distortion rate function) для гауссовского источника:
Полученную ошибку аппроксимации можно выразить в дБ:
т.е. ошибка аппроксимации возрастает на 6дБ на каждый бит/символ.
Эпсилон-энтропия не зависит от значения среднего.
Если D ≥ σ2, вовсе не нужно передавать информацию и при этом значение D = σ2, может быть получено путём установки
6.4.2. ЭПСИЛОН-ЭНТРОПИЯ (ФУНКЦИЯ СКОРОСТЬ-ИСКАЖЕНИЕ)
Недоступные
режимы

Теорема о верхней границе для эпсилон-энтропии
Эпсилон-энтропия непрерывного источника без памяти с нулевым средним и конечной дисперсией σ2 при рассмотрении квадратичной метрики искажения ограничена сверху эпсилон-энтропией гауссовского источника для такой же метрики искажения:
Аналогично для функции искажение-скорость:
Также для эпсилон-энтропии существует нижняя граница Шеннона при рассмотрении квадратичной метрики искажения:
где H(X) – дифференциальная энтропия непрерывного источника без памяти. Аналогично для функции искажение-скорость:
В итоге имеем:
6.4.2. ЭПСИЛОН-ЭНТРОПИЯ (ФУНКЦИЯ СКОРОСТЬ-ИСКАЖЕНИЕ)

Верхняя граница ошибки аппроксимации – ошибка аппроксимации гауссовского источника, значит, эта граница возрастает на 6дБ на каждый бит/символ.
Рассмотрим нижнюю границу ошибки аппроксимации:
Нижняя граница также возрастает на 6дБ на каждый бит/символ
Разница между верхней и нижней границами ошибки аппроксимации:
Очевидно, что дифференциальная энтропия ограничена сверху дифференциальной энтропией гауссовского источника!
6.4.2. ЭПСИЛОН-ЭНТРОПИЯ (ФУНКЦИЯ СКОРОСТЬ-ИСКАЖЕНИЕ)

Эпсилон-энтропия двоичного источника для хемминговой метрики искажения
Важный случай, для которого возможно получение результатов в замкнутой форме.
Описание источника: p = P[X = 1] = 1 – P[X = 0].
Из теоремы о кодировании без потери информации следует, что скорость кодирования должна удовлетворять неравенству:
Если R < H(X), то неизбежны потери.
Определим хеммингову метрику ошибки аппроксимации (Hamming distortion):
Особенностью такой метрики является то, что её среднее значение равно вероятности ошибки при аппроксимации сигнала:
Эпсилон-энтропия:
6.4.2. ЭПСИЛОН-ЭНТРОПИЯ (ФУНКЦИЯ СКОРОСТЬ-ИСКАЖЕНИЕ)
Как и ожидалось, при D → 0 имеем R(D) → Hb(p)