Границы 16. Формула Шеннона

Формула Шеннона для пропускной способности гауссовского канала:
В реальности спектральная плотность мощности шума N0 может зачастую считаться постоянной в произвольной полосе W, так что Pn=N0W и, когда полоса расширяется, пропускная способность растет, стремясь к пределу
пропускная способностью гауссовского канала с неограниченной полосой
пропускной способностью гауссовского канала с ограниченной полосой W

Граница Шеннона
Зависимость достижимой спектральной эффективности Rt/W (скорости на 1 Гц) от отношения сигнал-шум на бит, где Eb – энергия сигнала на бит (но не кодовый символ!) полезной информации.
Запретная область
Область возможных скоростей
Если при проектировании системы высшим приоритетом является энергосбережение (величина Eb/N0 не может быть значительной), единственным средством повышения надежности передачи служит расширение полосы (W>>Rt).
Напротив, когда главная цель – высокая спектральная эффективность (Rt>>W), проектировщик вынужден полагаться только на достаточную излучаемую энергию Eb/N0>>1.

Важнейшие границы теории кодирования. Граница Хэмминга
Теорема Любой двоичный код, исправляющий вплоть до t ошибок, удовлетворяет неравенству
Г.Х. – утверждает, что если существует q-ичный линейный код длиной n со скоростью передачи информации R и минимальным расстоянием Хемминга dmin или более, то

Совершенные коды
Коды, лежащие на границе Хэмминга (удовлетворяющие ей с равенством), называются совершенными.
Совершенные коды исправляют любые ошибки кратности t и менее, но не исправляют и не обнаруживают никаких ошибок большей кратности
Для совершенного кода, рассматриваемого как смежный класс, в качестве лидеров остальных смежных классов удаётся взять все векторы весом t и только их

Пример
Пусть
Граница Хемминга дает следующий результат:
Таким образом, возможно построение кода с параметрами (n, k) = (12, 5).

Совершенные коды
Геометрически такие коды реализуют так называемую «плотную упаковку», при которой все 2n двоичных векторов распределены по M сферам радиуса t, не имеющих пересечений и промежутков.
Они названы совершенными, так как обеспечивают максимальную скорость R, допускаемую фиксированными d = 2t +1 и n.
Среди двоичных существуют лишь три класса совершенных кодов – тривиальный код с повторением нечетной длины, коды Хэмминга, исправляющие однократные ошибки, и код Голея длины 23 с расстоянием 7 (исправляющий ошибки вплоть до трехкратных).

Код Голея
Сфера – принадлежит ровно
n-мерных векторов
Заметим, что
Гипотеза: 23-мерное двоичное пространство можно плотно упаковать сферами радиуса 3.
Существует совершенный код (23, 12), исправляющий все тройные ошибки

Код Голея
В основе конструкции кода лежит разложение
x23 – 1 = (1 + x) g1(x) g2(x)
g1(x) = 1 + x2 + x4 + x5 + x6 + x10 + x11
g2(x) = 1 + x + x5 + x6 + x7 + x9 + x11

Порождающая матрица кода Голея (23, 12)

Граница Варшамова–Гилберта
Если k = log M целое число, эта граница модифицируется в более точную границу Варшамова–Гилберта, устанавливающую существование кода, удовлетворяющего неравенству:
Асимптотические версии нижних и верхних границ,
выражают условия существования кодов в терминах скорости R и относительного кодового расстояния d/n:

Асимптотические версии
Если n>>1, код не существует при нарушении любого из неравенств
(асимптотические границы Хэмминга и Плоткина).
Но существует наверняка при условии (асимптотическая граница Гильберта):
где h(·) – энтропия двоичного ансамбля.

Границы

Комментарии
Коды с параметрами M, n, d, попадающими в область выше любой из границ Хэмминга или Плоткина, существовать не могут, тогда как в области ниже границы Гилберта существование кодов гарантировано.
Область между двумя упомянутыми является зоной неопределенности, для которой однозначный ответ о существовании кода нельзя получить с помощью рассмотренных границ (использование упоминавшихся более точных границ позволяет, разумеется, в той или иной мере сузить зону неопределенности) .

Пример
Пусть исследуется соотношение d = 5,
Находим границу Хемминга:
Граница Варшамова – Гильберта равна
Т. о.
данный код близок к границе Хемминга

Hamming Bound
> HB := proc(n,d) local b,i,t,sum:
t := floor((d-1)/2):
sum := 1:
for i from 1 to t do
sum := sum + binomial(n,i):
od:
b := simplify(floor(n-log[2](sum))):
printf("k is at most %d",b):
end

Gilbert-Varshamov Bound, version 1
> GV1 := proc(n,d) local b,i,sum:
sum := 1:
for i from 1 to d-1 do
sum := sum + binomial(n,i):
od:
b := simplify(floor(n-log[2](sum))):
printf("There is a code with dimension at least %d",b):
end:

Gilbert-Varshamov Bound, version 2
> GV2 := proc(n,d) local i,b,sum:
sum := 1:
for i from 1 to d-2 do
sum := sum + binomial(n-1,i):
od:
b := simplify(floor(n-log[2](sum)))-1:
printf("There is a code of dimension at least %d",b):
end:

Singleton Bound
SB := proc(n,d):
> printf("k is at most %d",n-d+1):
> end:
Пример
> SB(7,3);
k is at most 5

Пример
> SB(7,3);
k is at most 5
HB(7,3);k is at most 4
> GV1(7,3);
There is a code with dimension at least 2
> GV2(7,3);
There is a code of dimension at least 3

Источники сообщений, количество информации, энтропия
Идея определения количества информации
С теоретической точки зрения любая универсально применимая мера количества информации в сообщении, должна опираться только на степень предсказуемости последнего.
Чем менее предсказуемо (вероятно) сообщение (событие), тем большее количество информации генерируется в результате его осуществления.

Математическая модель источника информации. Дискретные источники
Дискретным называется источник, множество X возможных сообщений которого конечно или счетно X={x1, x2, …}.
Подобный источник полностью описывается набором вероятностей сообщений: p(xi), i=1,2, … .
Условие нормировки:

Непрерывные источники
Рассматривая непрерывные источники, мы ограничимся только теми, несчетный ансамбль которых может быть ассоциирован с непрерывной случайной переменной, т.е. описан в терминах плотности вероятности W(x).
Условие нормировки:

Количество информации в сообщении
Аксиомы количества информации (требования к универсальной информационной мере):
Количество информации в сообщении x зависит только от его вероятности:
Неотрицательность количества информации:
причем I(x)=0 только для достоверного события (p(x)=1).
3. Аддитивность количества информации для независимых сообщений:

Хартли
Единственной функцией, удовлетворяющей этим трем аксиомам оказывается логарифм вероятности сообщения
Единица измерения количества информации зависит от выбора основания логарифма.
Традиционное основание два дает единицу измерения количества информации, называемую битом (binary digit).

Энтропия дискретного источника
Энтропия дискретного источника есть среднее количество информации в его сообщениях:
Свойства энтропии:
Энтропия неотрицательна:
где равенство нулю имеет место только для полностью детерминированного (неслучайного) источника.

Свойства энтропии:
Энтропия ограничена сверху соотношением
Энтропия ансамбля пар сообщений, генерируемых двумя независимыми источниками аддитивна

Энтропия двоичного источника
Пусть p – вероятность одного из двух сообщений. Тогда
Энтропия двоичного источника в зависимости от p