Применениябанков фильтров

План
Психоакустическая компрессия звука
Слуховая маскировка
Устройство алгоритма mp3
Подавление стационарных шумов
Метод спектрального вычитания
STFT как банк фильтров, полосовые гейты
Проблема «музыкального шума»
Частотно-временное разрешение
Расширение полосы частот в аудиосигнале

Слуховая маскировка
Абсолютный порог слышимости
Как соотнести уровни в звуковом файле с абсолютными уровнями звука?

Слуховая маскировка
Сильные звуки (masker) маскируют более слабые (maskee)
Одновременная маскировка
Временная маскировка (прямая и обратная)

Слуховая маскировка
Маскировка тонами, шумами и общий порог маскировки
Шаг квантования выбирается пропорциональным порогу маскировки

Алгоритм mp3
Кодирование аудиоданных с потерями
Схема кодера mp3

Пред-эхо
Pre-echo (pre-ringing)
Размытие ошибки квантования
по времени на всю длину окна

Пред-эхо
Переключение размера окон в банке фильтров

Виды шумов и искажений
Источники шумов и искажений
На заре звукозаписи – ограничения аппаратуры
Сейчас – бюджетная аппаратура, неидеальные условия записи, архивные материалы
Шумы и
искажения
Стационарные
Импульсные
Искажения
Щелчки винила
Цифровые выпадения
Шум магнитной ленты
Наводка 50 Гц
Нелинейные искажения
Фильтрация
Проблема по-прежнему актуальна!

Шумоподавление
Аддитивный шум
Метод спектрального вычитания
Шум предполагается стационарным,
т.е. не меняющимся во времени (средняя мощность, спектр)

Шумоподавление
Простейшие методы: гейт (1940)
подавление сигналов ниже определенной амплитуды

Шумоподавление
Простейшие методы: адаптивный эквалайзер (1946)
частота среза зависит от ширины спектра сигнала

Стационарные шумы
Общий принцип подавления
Преобразование, компактно локализующее энергию (energy compaction)
Модификация коэффициентов преобразования (подавление коэффициентов, соответствующих шуму)
Обратное преобразование (восстановление очищенного сигнала)

Спектральное вычитание
Спектральное вычитание для аудиосигналов
STFT
Оценка спектра шума по участку без полезного сигнала
«Вычитание» спектра шума из спектра сигнала
Обратное STFT
Spectral Subtraction,
Short-Time Spectral Attenuation
Схема алгоритма спектрального вычитания

Спектральное вычитание
Требования к банку фильтров
Точное (или почти точное) восстановление
Отсутствие «эффекта блочности» (перекрытие, окна)
Хорошая частотная локализация
Не требуется: сохранение количества информации
Выбираем банк фильтров,
основанный на STFT

Шумоподавление
Многополосная интерпретация
Пороги срабатывания гейтов зависят
от уровня шума в каждой частотной полосе
Гейт (gate) – устройство, подавляющее тихие сигналы
(громкие пропускаются без изменения)

Спектральное вычитание
Конструкция гейтов
Порог срабатывания зависит от шума → нужно знать параметры шума → обучение
Мягкое или жесткое срабатывание
Время срабатывания (attack/release time)
Ограничение степени подавления
Пример подавления:
Здесь G – коэффициент усиления,
W – оценка амплитуды шума,
X – амплитуда сигнала.

Шумоподавление
Шум случаен → его спектр тоже случаен
Пример спектра белого шума:
приближенный фрагмент
общая спектрограмма

Шумоподавление
После спектрального вычитания появляются
случайно расположенные всплески энергии – артефакт «музыкальный шум» (musical noise)
«музыкальный шум»
общая спектрограмма

Шумоподавление
Музыкальный шум: методы борьбы
Завышение порога (недостаток – теряем больше сигнала)
Ограничение G(f, t) снизу (чтобы музыкальный шум маскировался естественным шумом)
Увеличение времени срабатывания гейтов (при слишком сильном увеличении получается шумовое эхо и смазываются атаки в сигнале)
Сглаживание G(f, t) по времени и/или по частоте
зашумленный сигнал
простое спектр. вычитание
сглаживание по времени

Спектральное вычитание
Эффекты фиксированного частотно-временного разрешения
Эффект Гиббса (размытие транзиентов)
Недостаточное частотное разрешение
Зашумленный сигнал
Размер окна 50 мс
Адаптивное разрешение

Расширение частотного диапазона
Задача расширения
Дано аудио, обработанное НЧ-фильтром (т.е. без высоких частот, например – после mp3-компрессии)
Нужно достроить высокие частоты, основываясь только на низких (или, возможно, на дополнительной информации о ВЧ, закодированной в потоке)

Расширение частотного диапазона
Метод
Сгенерировать грубое приближение высоких частот по низким (методы spectral replication, distortion, vocoder+resampling)
Придать грубому приближению желаемую форму (продолжение низких частот по энергии, степени тональности и т.д.) – здесь используем банки фильтров