Линейное предсказание,интерполяция аудио

План
Корреляция и автокорреляция, их применения
Линейное предсказание
Авторегрессионная модель сигнала
Нахождение коэффициентов регрессии
Применения
Сжатие
Интерполяция
LSAR-интерполяция звука
Подавление искажений перегрузки и щелчков

Корреляция
Корреляция (кросс-корреляция): мера похожести двух сигналов при различных сдвигах k одного сигнала относительно другого
Оценка корреляции
Вычисление через FFT
Применения корреляции: поиск похожих фрагментов сигналов, поиск сдвига кадра в видео

Автокорреляция
Автокорреляция: мера похожести сигнала на собственные сдвинутые копии
Оценка автокорреляции
Вычисление через FFT
Применение автокорреляции: оценка основного тона звукового сигнала, поиск периодичности

Линейное предсказание
Линейное предсказание (LPC)
Ошибка предсказания
Авторегрессионная модель сигнала

Линейное предсказание
Нахождение наилучших параметров регрессионной модели

Линейное предсказание
Нахождение наилучших параметров регрессионной модели
Приравниваем градиент нулю
Матрица Rxx – тёплицева, обращаем рекурсией Левинсона-Дурбина за P2 операций

Линейное предсказание
Составляющие ошибки
Особенности сигнала, не описываемые моделью
Неточность параметров модели
Шум
Как выбрать число параметров модели?
Модель порядка P может точно моделировать смесь P/2 синусоид с различными частотами и амплитудами
Выше порядок → меньше ошибка предсказания (но хуже стабильность вычислений)

Линейное предсказание
Применения
Реставрация сигнала (интерполяция/экстраполяция пропущенных отсчетов)
Компрессия сигнала (достаточно хранить коэффициенты модели и сигнал ошибки)

LSAR-интерполяция
Пусть неизвестный интервал окружен известными отсчетами:
По материалам книги S. Vaseghi “Advanced Digital Signal Processing and Noise Reduction”

LSAR-интерполяция
Запишем ошибку линейного предсказания (предполагая, что коэффициенты известны):
По материалам книги S. Vaseghi “Advanced Digital Signal Processing and Noise Reduction”

LSAR-интерполяция
Перепишем, отделив неизвестные отсчеты:
По материалам книги S. Vaseghi “Advanced Digital Signal Processing and Noise Reduction”

LSAR-интерполяция
Минимизируем ошибку предсказания:
Проблема: коэффициенты LPC неизвестны
Решение: вычислим их приблизительно, затем – оценим xUk и снова вычислим более точные коэффициенты…
По материалам книги S. Vaseghi “Advanced Digital Signal Processing and Noise Reduction”

Исправление перегрузки
Исходная запись с перегрузкой
(clipping)
женский вокал с перегрузкой: спектрограмма
короткий фрагмент волны

Исправление перегрузки
После одной итерации LSAR-интерполяции

Исправление перегрузки
После трех итераций

Исправление щелчков
Исходная запись со щелчками
Детектирование щелчков
Анализ разности между соседними отсчетами
Анализ ошибки LPC (в т.ч. – многополосный)
Анализ спектрограммы
Интерполяция щелчков
(clicks)

Исправление щелчков
Исходная запись со щелчками
(clicks)
оркестр, записанный с виниловой пластинки: волна

Исправление щелчков
Остаточный сигнал LPC
Порядок предсказания – 100 (но можно было и меньше)

Исправление щелчков
После детектирования и интерполяции щелчков методом LSAR (3 итерации)

Исправление щелчков
Исходная запись со щелчками
(clicks)
оркестр, записанный с виниловой пластинки: спектрограмма