Интерактивная сегментация изображений

08/14/2023
Graphics & Media Lab http://graphics.cs.msu.su
План доклада
Описание задачи
Хронология развития
до 2001
Алгоритмы
Коммерческие решения
до 2005
Новые алгоритмы
Новые коммерческие решения
GML Grow Cut
2005 г.
Новые алгоритмы
Новые коммерческие решение
Заключение

08/14/2023
Graphics & Media Lab http://graphics.cs.msu.su
Описание задачи
Сегментация – важнейшая составляющая:
Автоматизированного анализа изображений
Редактирования изображений
Входные данные:
Изображение
Выходные
Изображение разделенное на регионы по некоторому признаку

08/14/2023
Graphics & Media Lab http://graphics.cs.msu.su
Интерактивная сегментация
Автоматическая сегментация по-прежнему не может дать удовлетворительный результат во всех случаях:
Причина – высокая сложность сегментации естественных изображений
Причина – сильно разнящиеся от задачи к задаче признаки по которым требуется производить сегментацию и критерии оценки качества результата
Идут активные исследования в области полуавтоматической сегментации

08/14/2023
Graphics & Media Lab http://graphics.cs.msu.su
Время до 2001 г
Алгоритмы
Color statistics (Magic Wand)
Intelligent scissors (Live Wire)
Intelligent paint

08/14/2023
Graphics & Media Lab http://graphics.cs.msu.su
Color statistics (Magic Wand)
Идея:
Пользователь задает пиксель,
запоминается его цвет C1
Все пиксели, цвет которых ||С - C1||<Θ - относятся к выделяемому региону

08/14/2023
Graphics & Media Lab http://graphics.cs.msu.su
Intelligent scissors (Live Wire)
Идея:
Между заданными пользователем точками считается путь «минимальной стоимости»

08/14/2023
Graphics & Media Lab http://graphics.cs.msu.su
Intelligent paint
Идея:
Предварительная иерархическая
сегментация изображения
Анализ «мазков» пользователя
для объединения регионов
предварительной сегментации

08/14/2023
Graphics & Media Lab http://graphics.cs.msu.su
Время до 2001 г
Коммерческие решения (не рассматриваем медицину)
Magic Wand
(цветовая статистика)
Magnetic Lasso
(Live Wire, Intelligent scissors)

08/14/2023
Graphics & Media Lab http://graphics.cs.msu.su
2001 до 2005 г
Алгоритмы
Graph cuts
GrabCut
GML GrowCut

08/14/2023
Graphics & Media Lab http://graphics.cs.msu.su
Graph Cuts
Формулировка сегментации как минимизации энергии через разрез графа
Это прорыв!

08/14/2023
Graphics & Media Lab http://graphics.cs.msu.su
Graph Cuts
Примеры:

08/14/2023
Graphics & Media Lab http://graphics.cs.msu.su
GrabCut
Использование итеративного пересчета цветовой модели и границ объекта через Graph Cuts, чтобы упростить интерфейс

08/14/2023
Graphics & Media Lab http://graphics.cs.msu.su
GML GrowCut
Идея:
Использование клеточного автомата

08/14/2023
Graphics & Media Lab http://graphics.cs.msu.su
GML GrowCut
Достоинства
Прост!
Может поддерживать более 2
исходных меток;
Не уступает в скорости конкурентам;
Работает «вживую» - пользователь
может корректировать по ходу
сегментации;
Патентно чист;
Недостатки
Недостаточно быстр для больших фото
Получается более «рваная» граница, чем у Graph Cuts

08/14/2023
Graphics & Media Lab http://graphics.cs.msu.su
2001 - 2005 г
Коммерческие решения (не рассматриваем медицину)
Asiva selection
(расширенный вариант цветовой статистики)
???
(почему больше нет?!)
Надежность недостаточна – требуется активное вмешательство человека (не страшно!)
Все работает по-прежнему слишком медленно для настоящей интерактивности (а вот это плохо)

08/14/2023
Graphics & Media Lab http://graphics.cs.msu.su
2005 год
Алгоритмы
Расширенные иерархический GML GrowCut
Belief propagation
Коммерческие решения
GML GrowCut
http://vision.graphicon.ru/soft/en/GrowCut/
Fluid Mask
http://www.vertustech.com/
Magic Selection Brush (Adobe Photoshop Elements 4)
http://www.adobe.com/products/photoshopelwin/main.html

08/14/2023
Graphics & Media Lab http://graphics.cs.msu.su
GML GrowCut 2005
Цели:
Ускорение
Иерархическая сегментация
«Дерево наследования» при подсчете эволюции автомата
Более тонкая настройка поведения
Отключаемая повышенная гладкость границ
Результат
Реально usable плагин для сегментации
Хорошие отзывы на форумах

08/14/2023
Graphics & Media Lab http://graphics.cs.msu.su
Belief propagation
Идея:
Итеративный расчет вероятностей принадлежности пикселей к объекту и фону
Используется цветовая статистика и минимизация энергии через belief propagation
Результат
Работает 15 мин. на изображении 640x480
Проблемы с «камуфляжем» (похожими цветами на объекте и фоне)

08/14/2023
Graphics & Media Lab http://graphics.cs.msu.su
Коммерция - Fluid Mask
Появился в августе, пока нет Windows версии
Судя по демкам использует
Цветовую статистику (расширенный magic wand)
Возможно, GrowCut…
Результат
Ждем – очень интересно...

08/14/2023
Graphics & Media Lab http://graphics.cs.msu.su
Коммерция – Adobe Magic Selection Brush
Появился недавно, обещает многое
Результат
Слишком тормозит для интерактивности
Сегментация не всегда логична