Банки фильтров,шумоподавление

План
Банки фильтров, основанные на STFT
Психоакустическая компрессия звука
Слуховая маскировка
Устройство алгоритма mp3
Подавление стационарных шумов
Метод спектрального вычитания
STFT как банк фильтров, полосовые гейты
Проблема «музыкального шума»
Частотно-временное разрешение
Вейвлеты
Подавление шума на изображениях

Часть 1
Банки фильтров и их применения

Банки фильтров, основанные на STFT
Спектрограмма
график зависимости амплитуды от частоты и от времени, показывает изменение спектра во времени
отображается модуль Short Time Fourier Transform (STFT)

Банки фильтров, основанные на STFT
Частотно-временное разрешение
Способность различать детали по частоте и по времени, «размытость» спектрограммы
Для STFT определяется длиной весового окна (а также, отчасти, размером и шагом DFT по времени)
Соотношение неопределенностей: разрешение по частоте обратно пропорционально разрешению по времени
6 ms
12 ms
24 ms
48 ms
96 ms
размер окна

Банки фильтров
Банки фильтров – преобразования, разбивающие сигнал на несколько частотных полос в возможностью обратного синтеза
Пример: дискретное вейвлет-преобразование
Возможные свойства БФ: точное восстановление, избыточность

Банки фильтров
Применения:
Раздельная обработка сигнала в разных частотных полосах
Компрессия сигналов с независимым квантованием в разных частотных полосах
Пример банка фильтров, основанного на STFT
Декомпозиция: STFT с окном Хана (Hann), и с перекрытием между окнами 75%
Синтез: обратное DFT от каждого блока, применение весовых окон Хана и сложение окон с наложением (OLA)
Свойства:
Точное восстановление
Наличие избыточности

Слуховая маскировка
Абсолютный порог слышимости
Как соотнести уровни в звуковом файле с абсолютными уровнями звука?

Слуховая маскировка
Сильные звуки (masker) маскируют более слабые (maskee)
Одновременная маскировка
Временная маскировка (прямая и обратная)

Слуховая маскировка
Маскировка тонами, шумами и общий порог маскировки
Шаг квантования выбирается пропорциональным порогу маскировки

Алгоритм mp3
Кодирование аудиоданных с потерями
mp3-файл
x[n]
FFT
Банк
фильтров
Q
Huffman
Психоакустический
анализ
Схема кодера mp3

Пред-эхо
Pre-echo (pre-ringing)
Размытие ошибки квантования
по времени на всю длину окна

Пред-эхо
Переключение размера окон в банке фильтров

Шумоподавление
Аддитивный шум
Метод спектрального вычитания
Шум предполагается стационарным,
т.е. не меняющимся во времени (средняя мощность, спектр)

Стационарные шумы
Общий принцип подавления
Преобразование, компактно локализующее энергию (energy compaction)
Модификация коэффициентов преобразования (подавление коэффициентов, соответствующих шуму)
Обратное преобразование (восстановление очищенного сигнала)

Спектральное вычитание
Спектральное вычитание для аудиосигналов
STFT
Оценка спектра шума по участку без полезного сигнала
«Вычитание» спектра шума из спектра сигнала
Обратное STFT
Spectral Subtraction,
Short-Time Spectral Attenuation
Схема алгоритма спектрального вычитания

Спектральное вычитание
Требования к банку фильтров
Точное (или почти точное) восстановление
Отсутствие «эффекта блочности» (перекрытие, окна)
Хорошая частотная локализация
Не требуется: сохранение количества информации
Выбираем банк фильтров,
основанный на STFT

Шумоподавление
Многополосная интерпретация
Пороги срабатывания гейтов зависят
от уровня шума в каждой частотной полосе
Гейт (gate) – устройство, подавляющее тихие сигналы
(громкие пропускаются без изменения)

Спектральное вычитание
Конструкция гейтов
Порог срабатывания зависит от шума → нужно знать параметры шума → обучение
Мягкое или жесткое срабатывание
Время срабатывания (attack/release time)
Ограничение степени подавления
Пример подавления:
Здесь G – коэффициент усиления,
W – оценка амплитуды шума,
X – амплитуда сигнала.

Шумоподавление
Шум случаен → его спектр тоже случаен
Пример спектра белого шума:
приближенный фрагмент
общая спектрограмма

Шумоподавление
После спектрального вычитания появляются
случайно расположенные всплески энергии – артефакт «музыкальный шум» (musical noise)
«музыкальный шум»
общая спектрограмма

Шумоподавление
Музыкальный шум: методы борьбы
Завышение порога (недостаток – теряем больше сигнала)
Ограничение G(f, t) снизу (чтобы музыкальный шум маскировался естественным шумом)
Увеличение времени срабатывания гейтов (при слишком сильном увеличении получается шумовое эхо и смазываются атаки в сигнале)
Сглаживание G(f, t) по времени и/или по частоте
зашумленный сигнал
простое спектр. вычитание
сглаживание по времени

Спектральное вычитание
Эффекты фиксированного частотно-временного разрешения
Эффект Гиббса (размытие транзиентов)
Недостаточное частотное разрешение
Зашумленный сигнал
Размер окна 50 мс
Адаптивное разрешение

Понятие вейвлета
Вейвлеты – это сдвинутые и масштабированные копии ψa,b(t) («дочерние вейвлеты») некоторой быстро затухающей осциллирующей функции ψ(t) («материнского вейвлета»)
Используются для изучения частотного состава функций в различных масштабах и для разложения/синтеза функций в компрессии и обработке сигналов

Понятие вейвлета
Обычно накладываемые условия на ψ(t):
Интегрируемость
Нулевое среднее, нормировка
Нулевые моменты (vanishing moments)

Понятие вейвлета
Примеры вейвлетов
Meyer
Mortlet
Mexican hat

Непрерывное вейвлет-преобразование (CWT)
Скалярные произведения исследуемой функции f(t) с вейвлетами ψa,b(t)

Дискретное вейвлет-преобразование (DWT)
Используются лишь целочисленные сдвиги вейвлета и масштабирование в 2 раза
Возможность построения ортогонального преобразования
Дискретный вейвлет
Последовательность чисел
Ортогональна своим сдвигам на четное число точек
Существует скейлинг-функция (НЧ-фильтр), ортогональная вейвлету

Преобразование Хаара
Простейший случай вейвлет-преобразования
Дан входной сигнал x[n]
Образуем от него последовательности полусумм и полуразностей:
Легко видеть, что сигнал x[n] можно восстановить:
Такое кодирование избыточно: из одной последовательности получаем две

Преобразование Хаара
Устранение избыточности
Проредим полученные последовательности в 2 раза:
Легко видеть, что справедлив алгоритм восстановления:
(интерполяция нулями)
(фильтрация)
(суммирование)

Дискретное вейвлет-преобразование
Обобщение преобразования Хаара
Свойство точного восстановления (PR):
Количество информации не изменяется.
Нужно найти хорошие фильтры, обеспечивающие точное восстановление.

Пирамидальное представление
Продолжаем вейвлет-разложение для НЧ-коэффициентов
Двумерное вейвлет-
преобразование
на каждом шаге получаем
4 набора коэффициентов:
НЧ («основные»)
и ВЧ («детализирующие»)
Частотный диапазон
делится на октавы
Одномерный случай

Банки фильтров
Как банки фильтров разбивают частотно-временную плоскость?

Часть 2
Подавление шума на изображениях

Виды и примеры шумов
Шумы
Стационарные
Импульсные
Смешанные
Salt and pepper
Помехи в видео
Аддитивный белый Зерно пленки
Белый шум – пиксели случайны, не коррелированны друг с другом.
Гауссов/равномерный/треугольный шум – закон распределения амплитуд пикселей.
Аддитивный шум – прибавляется к «чистому» изображению и не зависит от него.
Шум + помехи в видео
Salt and pepper
AWGN

Методы шумоподавления
Шумы
Стационарные
Импульсные
Смешанные
Медианный фильтр
Взвешенная медиана
Ранговые фильтры
Bilateral filter
Non-Local Means
Wavelet thresholding
DCT, PCA, ICA
Анизотропная диффузия
Алгоритм BM3D
Ранговые фильтры
Комбинированные методы
Salt and pepper
AWGN

Простейшие методы
Простейшие методы
Размытие изображения – вместе с шумом размывает детали
Размытие в гладких областях – остается шум вблизи границ
Медианная фильтрация – хорошо подавляет импульсный шум, но удаляет мелкие детали

Bilateral filter
Адаптивные алгоритмы
Bilateral filter
усреднение окружающих
пикселей
с весами
фотометрическая близость
пространственная близость

Bilateral filter
Bilateral filter: художественное применение
(при слишком сильном действии)

Non-Local Means
Адаптивные алгоритмы
Non-local means (NL-means) – веса зависят от близости целых блоков, а не отдельных пикселей
ν(xi,j) – блок вокруг
пикселя xi,j

Non-Local Means
Вычисление весов
Способен сохранять текстуру изображения лучше, чем bilateral filter
Иллюстрация из
Buades et al 2005
Веса высоки для q1 и q2,
но не для q3
+

Non-Local Means
Достоинства и недостатки:
Высокое качество результирующего изображения
В исходном варианте – очень высокая вычислительная сложность
Ускоряющие расчет оптимизации:
Использование команд MMX/SSE для сравнения блоков
Разбиение изображения на блоки и усреднение целых блоков, а не отдельных пикселей
Промежуточный вариант между усреднением блоков и усреднением пикселей: усреднение маленьких блоков
+
–

Non-Local Means
Применение к видео
Область поиска блоков можно расширить на соседние кадры (сделать ее пространственно-временной)
Для ускорения просчета можно применять сравнение блоков только по Y-каналу в цветовой модели YCrCb (YUV)