Видеотехнологии. Кодирование видео (теория)

Природа информации (в видео)
Аналоговая
Требуется оцифровка
Аналого-цифровое преобразование – что это?
Какие два основных процесса происходят при АЦП?
Дискретизация (Sampling)
Квантование (Quantization) цветовые пространства и модели

+ Дискретизация (Sampling)
О том, как превратить свет и звук в цифры
Могут встречаться формулы!
Надо будет вспомнить физические основы из КГ
Все это по материалам Параграфа 2 из Книги*
* Рекомендованная вам книга Compression for Great Video and Audio – B. Waggoner, Elsevier, 2010, p. 15

Аналоговая природа и цифровая форма сигнала
Свет и звук – это непрерывный аналоговый сигнал.
Сигнал для датчиков (глаза, уха, камеры, микрофона)
Непрерывный – значит бесконечно подробный
Мы не можем записать в дискретной форме всё ->
Как часто мы будем замерять сигнал?
Это частота дискретизации

Что будем дискретизировать?
Пространство Время
DPI/LPI, lines, pixels fps, Hz

Теорема Найквеста-Шеннона, она же – Котельникова
Теорема Найквеста-Шеннона
В России называется теоремой Котельникова
Если аналоговый сигнал имеет конечный (ограниченный по ширине) спектр,
то он может быть восстановлен однозначно и без потерь по своим отсчётам, взятым с частотой,
большей или равной удвоенной верхней частоте

Критерий Найквеста во времени
Почему колеса в кино крутятся «назад»?

Критерий Найквеста в пространстве
3 px
256/320*3=2,4
2 px
256/320*2=1,6
320x240 -> 256x192

Квантование
Сколько значений может принимать каждый дискретный элемент (sample) 2^x bit
Помним допустимые пределы: 8bit RGB: 0 255 (256)
8bit YCbCr: 16 235 (219) – «так принято»

Динамический диапазон
Помните, что это?
Для монитора отношение яркости около 4000:1
В кинозале шагов может быть чуть больше 100.
Человек видит разницу, а не абсолютное значение
Для яркости могут выделять больше бит (10-16)
Цветность обычно урезают (субдискретизация)

Работа с видеокодеками
Профиль
Уровень
Поток (data rate)
H.264 High 4:2:0 @ 2.1
Кодек
Профиль
Цветовая
субдискретизация
Уровень

Эффективность сжатия
800kbps 160x120 Apple Video codec
800kbps 640x480 H.264
High profile 3-pass Quality optimized

Терминология объёма памяти (вдруг забыли?)

Контроль потока (VBR and CBR)
VBV (Video buffering verifier): under/over-run
CBR for streaming
VBR for download
Quality-limited VBR

Поток и квантование

Поток и квантование

Кодирование в несколько проходов
1-pass
1-Pass lookahead
2-pass
Segment re-encoding

Размер кадра
Rule of “ˆ0,75”
640 x 360 @ 1000 Kbps
1280 x 720 @ ?
(1280 x 720)/(640 x 360) = 4
40.75 = 2.828
1000 Kbps x 2.828 = 2828 Kbps

Неквадратный пиксель
Когда это требуется выходным форматом (DVD).
Когда это определено исходным форматом.
При активном движении по одной оси.
Компьютерное видео имеет квадратный пиксель.

Глубина цвета
Обычно: 8 бит/канал
Профессиональные кодеки: 10, 12, 16 бит/канал
Для съемки и промежуточного сохранения
Просмотр – только 8 бит/канал.

Частота кадров

Частота ключевых кадров

B-кадры
Минимальный размер,
Могут быть хуже, на них никто не ссылается.
Сэкономленное место уходит в I, P кадры, на которых строятся те же B кадры.
Их можно пропускать, от них другие не зависят
Упрощают навигацию – меньше P кадров декодировать

Open/Closed GOP

Некоторые особенности H.264
Pyramid B-frames
Они все-таки ссылаются на обычные b-кадры. Но и на I и P тоже.

Некоторые особенности H.264
CABAC Entropy Coding
Context Adaptive Binary Arithmetic Coding
+40% нагрузки на декодер*
+10-20% эффективности сжатия (при сильном сжатии)
Не используется в Baseline профиле.
* По сравнению с ранее применявшимся CAVLC.

Профили и уровни H.264

Профили и уровни H.264