Кодирование звуковой и видеоинформации информации

Оцифровка звука
Оцифровка – это преобразование аналогового сигнала в цифровой код (дискретизация).
– интервал дискретизации (с)
– частота дискретизации (Гц, кГц)
8 кГц – минимальная частота для распознавания речи
11 кГц, 22 кГц, 44,1 кГц – качество CD-дисков
48 кГц, 96 кГц, 192 кГц – фильмы на DVD
Человек слышит
16 Гц … 20 кГц

Оцифровка звука: квантование
3-битное кодирование:
8 битов = 256 уровней
16 битов = 65536 уровней
24 бита = 224 уровней
АЦП = Аналого-Цифровой Преобразователь
Квантование (дискретизация по уровню) – это представление числа в виде цифрового кода конечной длины.
Разрядность кодирования — это число битов, используемое
для хранения одного отсчёта.

Оцифровка звука
Задача. Определите информационный объем данных ( I ), полученных при оцифровке звука длительностью
1 минута ( t ) с частотой 44 кГц (f) с помощью 16-битной (i) звуковой карты. Запись выполнена в режиме «стерео».(k=2), ( Для «моно» k=1)
Основная формула I = i * f * t *k (бит)

Оцифровка звука
Как восстановить сигнал?
без сглаживания
после сглаживания
уменьшать T
↑ размер файла
аналоговые устройства!
ЦАП = Цифро-Аналоговый Преобразователь
было до оцифровки

Оцифровка – итог
можно закодировать любой звук (в т.ч. голос, свист, шорох, …)
есть потеря информации
большой объем файлов
Форматы файлов:
WAV (Waveform audio format), часто без сжатия (размер!)
MP3 (MPEG-1 Audio Layer 3, сжатие с учётом
восприятия человеком)
AAC (Advanced Audio Coding, 48 каналов, сжатие)
WMA (Windows Media Audio, потоковый звук, сжатие)
OGG (Ogg Vorbis, открытый формат, сжатие)

Инструментальное кодирование
MIDI (Musical Instrument Digital Interface — цифровой интерфейс музыкальных инструментов).
в файле .mid:
нота (высота, длительность)
музыкальный инструмент
параметры звука (громкость, тембр)
до 1024 каналов
в памяти звуковой карты:
образцы звуков (волновые таблицы)
MIDI-клавиатура:
нет потери информации при кодировании инструментальной музыки
небольшой размер файлов
невозможно закодировать
нестандартный звук, голос
программа для звуковой карты!
128 мелодических и 47 ударных

Трекерная музыка
В файле (модуле):
образцы звуков (сэмплы)
нотная запись, трек (track) – дорожка
музыкальный инструмент
до 32 каналов
Использование: демосцены (важен размер файла)
Форматы файлов:
MOD разработан для компьютеров Amiga
S3M оцифрованные каналы + синтезированный звук, 99 инструментов
XM, STM, …

Кодирование видео
Синхронность!
изображения:
≥ 25 кадров в секунду
PAL: 720×576, 24 бита
за 1 с: 720×576×25×3 байта ≈ 30 Мб
за 1 мин: 60×32 Мбайта ≈ 1,73 Гб
HDTV: 1280×720, 1920×1080.
4K: 4096×3072
исходный кадр + изменения (10-15 с)
сжатие (кодеки – алгоритмы сжатия)
DivX, Xvid, H.264, WMV, Ogg Theora…
звук:
48 кГц, 16 бит
сжатие (кодеки – MP3, AAC, WMA, …)

Форматы видеофайлов
AVI – Audio Video Interleave – чередующиеся звук и видео; контейнер – могут использоваться разные кодеки
MPEG – Motion Picture Expert Group
WMV – Windows Media Video, формат фирмы Microsoft
MP4 – MPEG-4, сжатое видео и звук
MOV – Quick Time Movie, формат фирмы Apple
WebM – открытый формат, поддерживается браузерами