Современные проблемы в области фильтрации цифровых изображений

План презентации
Суть задачи фильтрации цифровых изображений
Классификация современных методов фильтрации цифровых
изображений
Анализ главных компонент. Построение алгоритма
фильтрации аддитивного белого гауссовского шума (АБГШ)
на основе анализа главных компонент. Результаты работы
алгоритма
Использование алгоритмов фильтрации АБГШ в различных
задачах цифровой обработки изображений
2

Общая суть задачи фильтрации изображений и возможные варианты ее решения
Разработка и анализ алгоритмов, предназначенных для
удаления шумов из цифровых изображений, с целью
улучшения субъективных и объективных оценок качества
картинки. Здесь и далее модель шума – АБГШ
3
В работе были проанализированы методы, результаты
и подходы алгоритмов фильтрации изображений на базе:
Локальных методов обработки
Нелокальных методов обработки
Поточечных методов обработки
Многоточечных методов обработки

Классификация рассматриваемых алгоритмов фильтрации
цифровых изображений соответствует работе:
Katkovnik V., Foi A., Egiazarian K., Dabov K. From local kernel to
nonlocal multiple-model image denoising // Int. J. Computer Vision,
2010. V. 86, № 8. P. 1 – 32
Подробный анализ рассматриваемых алгоритмов
фильтрации цифровых изображений может быть найден в
следующих работах:
Katkovnik V., Foi A., Egiazarian K., Dabov K. From local kernel to
nonlocal multiple-model image denoising // Int. J. Computer Vision,
2010. V. 86, № 8. P. 1 – 32
Dabov K. Image and video restoration with nonlocal transform-
domain filtering. PhD thesis, Tampere University of Technology,
2010
4
Анализ современных подходов удаления АБГШ из цифровых изображений

Локальные методы обработки
5
Nadaraya E. A. On estimating regression // Theory Probab.
Applic., 1964. V. 9. P. 141 – 142
Watson G. S. Smooth regression analysis // Sankhya Ser., 1964.
V. 26. P. 356 – 372
Итоговая оценка пикселя:
0
0
0
90
90
0
0
90
90
0
0
0
0
90
90
90
90
0
90
90
0
0
90
90
0
0
0
0
90
0
90
90
0
0
0
0
X
X
X
60
40
X
X
50
80
X
X
X
X
40
60
80
60
X
80
60
X
X
40
50
X
X
X
X
50
80
50
30
X
X
X
X
1
1
1
1
1
1
1
1
1
1/9*

Нелокальные методы обработки
6
Buades A., Coll B., Morel J. M. Nonlocal image and movie
denoising // Int. J. Computer Vision, 2008. V. 76, № 2. P. 123 – 139
Итоговая оценка пикселя:

Поточечные методы обработки
7
Katkovnik V., Foi A., Egiazarian K., Astola J. Directional varying
scale approximations for anisotropic signal processing // Proc. XII
European Signal Processing Conf., 2004. P. 101 – 104
Foi A. Anisotropic nonparametric image processing: theory,
algorithms and application. PhD thesis, Politecnico di Milano,
2005

Многоточечные методы обработки
8
Muresan D. D., Parks T. W. Adaptive principal components and
image denoising // Proc. IEEE Int. Conf. Image Processing, 2003.
V. 1. P. 101 – 104
Область
наложения
Область
обучения
Область
фильтрации
Центр
7x7
21x21
Внутри области обучения набираем векторы обучения размера 5x5, всего 289 штук:
…

Адаптивный анализ главных компонент
9
Muresan D. D., Parks T. W. Adaptive principal components and
image denoising // Proc. IEEE Int. Conf. Image Processing, 2003.
V. 1. P. 101 – 104
Область
наложения
Область
обучения
Область
фильтрации
Центр
r
β
[r, c]
главная ось
d
c
Анализ главных компонент.
Основная идея!

Адаптивный анализ главных компонент
10
7x7
21x21
Внутри области обучения набираем векторы обучения размера 5x5, всего 289 штук:
…
Шаг 1. Оценка дисперсии шума на зашумленном изображении:
Шаг 2. Разбиение зашумленного изображения
на совокупность перекрывающихся блоков и
формирование для каждого из них базиса
главных компонент
Шаг 3. Представление каждого из блоков с
использованием базиса главных компонент и
обработка полученных трансформант
Шаг 4. Обратное преобразование и наложение
блоков с перекрытием
(1)
диагональные вейвлет-коэффициенты
первого уровня вейвлет-разложения

Адаптивный анализ главных компонент. Пример обработки изображений
Плюсы: Адаптация к исходному множеству данных
Минусы: При больших размерах векторов обучения возникают
артефакты в локальных областях изображения, при малых плохо
давится шум в области границ изображения
Размер векторов обучения
2x2
5x5
2x2
5x5
11

Предлагаемый метод. Основная идея!
12
Dabov K. et al. Image denoising by sparse 3D transform-
domain collaborative filtering // IEEE Trans. Image Processing,
2007. V. 16, № 12. P. 2080 – 2095
Применение двухэтапной схемы восстановления цифрового
изображения из зашумленных данных
Этап 1. Формирование первичной или «грубой» оценки
цифрового изображения на основе адаптивного анализа
главных компонент
Этап 2. Формирование вторичной или «точной» оценки
цифрового изображения на основе использования оптимальной
винеровской фильтрации проводимой в области анализа
главных компонент с использованием первичной оценки
цифрового изображения

Оптимальная винеровская фильтрация в области анализа главных компонент
Формирование вторичной или «точной» оценки изображения
Шаг 1. Разбиение зашумленного изображения и первичной или
«грубой» оценки изображения на совокупность перекрывающихся
блоков и формирование для каждого из них базиса главных
компонент. Размер областей обучения, наложения, фильтрации, а
также векторов обучения выбирается отличным от этапа 1,
получения первичной оценки изображения
Шаг 2. Выполнение винеровской фильтрации в области
анализа главных компонент
Шаг 3. Обратное преобразование и наложение блоков
с перекрытием
(2)
значения сформированные на основе первичной оценки изображения и зашумленного изображения,
соответственно
13

Пример первичной и вторичной оценок исходного изображения
Исходное
изображение
Зашумленное
изображение,
ПОСШ = 20,15 дБ
Первичная оценка,
ПОСШ = 30,63 дБ
Вторичная оценка,
ПОСШ = 31,65 дБ
14

Визуальные результаты работы алгоритма
Исх. изображение «Лена»
Зашум. изображение, ПОСШ=20,15 дБ
Курвлет-преобразование, ПОСШ=30,39 дБ
Предложенный метод, ПОСШ=31,65 дБ
Нелок. усреднение, ПОСШ=30,35 дБ
Блоко-согласование и 3D фильтрация, ПОСШ=32,06 дБ
15

«Перцы», ПОСШ = 27,54 дБ
«Барбара», ПОСШ = 26,01 дБ
«Фотограф», ПОСШ = 24,07 дБ
«Лодка», ПОСШ = 25,79 дБ
Визуальные результаты работы алгоритма при больших степенях зашумления (ПОСШ = 14,74 дБ)
16

Результаты работы рассматриваемого алгоритма (тестовое изображение «Лена»)
17

Результаты работы рассматриваемого алгоритма (тестовое изображение «Холм»)
18

Дополнительные приложения рассматриваемого алгоритма. Фильтрация цветных изображений
Модель шума: АБГШ независимо подмешанный в каждый канал
ПОСШ = 24,65 дБ
ПОСШ = 31,30 дБ
19

Дополнительные приложения рассматриваемого алгоритма. Фильтрация смешанных шумов
Hirakawa K., Parks T. W. Image denoising using total least
squares // IEEE Trans. Image Processing, 2006. V. 15, № 9.
P. 2730 – 2742
«Барбара», ПОСШ = 14,81 дБ
«Барбара», ПОСШ = 25,02 дБ
Модель смешанного шума: y = x + (σ1 + σ2x)n, n = N(0;1)
20

Дополнительные приложения рассматриваемого алгоритма. Удаление артефактов блочности
Foi A., Katkovnik V., Egiazarian K. Pointwise shape-adaptive DCT
for high-quality denoising and deblocking of grayscale and color
images // IEEE Trans. Image Processing, 2007. V. 16, № 5.
P. 1395 – 1411
«Фотограф», ПОСШ = 25,02 дБ
«Фотограф», ПОСШ = 25,85 дБ
21