Компьютерное зрение. Математика в задачах обработки изображений

Компьютерное зрение
Распознавание образов
Компьютерное зрение
Фотограм-
метрия
Машинное
зрение
Глубокое
обучение
Машинное
обучение

Примеры задач
Распознавание автомобильных номеров
Классификация изображений
Выявление движущихся объектов на видео, слежение
Создание панорам из изображений
Построение трёхмерных моделей объектов по снимкам
Детектирование объектов определённого класса
Ориентация робота в пространстве
Синтез реалистичных текстур
Поиск по изображениям
Анализ медицинских изображений (подсчёт клеток и их типов)
Биометрия

Пример:
Задача выделения объектов
Задача: выделить объекты, определив порог бинаризации
Низкий порог
Высокий порог

Яркости пикселей объектов и фона имеют различное распределение
Гипотеза

Модель
Бимодальное распределение

Метод Оцу
Идея: найти порог оптимальным образом, так чтобы минимизировать дисперсию внутри одного класса (и максимизировать дисперсию между классами)

Пример
Задача: разделить изображение на области так чтобы каждая область соответствовала одному объекту

Соседние пикселы внутри одного объекта мало различаются по яркости
Гипотеза

Модель
Неориентированный граф. Вершины - это все пиксели. Рёбра ставятся между соседними пикселями. Чем больше разность яркости - тем больше вес ребра.

Метод
«Efficient Graph-Based Image Segmentation»
Идея: Будем добавлять рёбра между пикселами с минимальным весом, чтобы строить MST. Если ребро объединяет два дерева (региона), используем хитрое правило

Graph-Based Image
Segmentation

Пример
Внутри областей имеются резкие границы, цвет неоднороден

Будем штрафовать точки границы, чтобы она была только там где точно необходимо
Гипотеза

Модель
Условные/марковские случайные поля
Скрытые переменные
Наблюдаемые переменные
Вероятностная модель связей

Метод GrubCut
Идея: представим картинку как граф, веса рёбер зададим в соответствии с энергиями. Применим метод разреза графа

Пример
На изображении много областей, они относительно однородны

Пикселы одного объекта близки в пространстве
яркость-координата
Гипотеза

Модель
Кластеры в многомерном пространстве (RGB-XY)

Метод
Mean-Shift
Идея: Сопоставим пикселам изображения точки в пространстве RGBXY. Выполним оценку среднего в окрестности точки. Запишем вектор смещения среднего относительно каждой точки. Все точки, от которых вектора смещаются в один и тот же центр отнесём к одному классу

Mean-Shift

Совсем сложный пример

Нейросети могут всё!
Гипотеза

Модель
Модель придумывать не будем
Соберём побольше данных и закинем в нейросеть
...
Profit!!!

Нейронные сети
Эволюция архитектур

Линейный классификатор
Сумма + Нелинейность (Сигмоид) = Logistic regression
это и есть нейрон

Нейронные сети
LogReg + LogReg = Neural Network
За счёт нескольких нелинейностей нейросеть не сводится к линейной функции

Многослойные нейронные сети
Больше скрытых слоёв!
Это всё ещё комбинация суммирования и нелинейности

Многослойные нейронные сети
ЕЩЁ БОЛЬШЕ!
ЭТО МАГИЯ! Это всё ещё комбинация суммирования и нелинейности

Свёрточные сети
Свёртка + Нейросеть = Свёрточные сети
При свёртке входов сети гораздо меньше, чем количество пикселей

Свёрточные сети
Свёртка + Нейросеть = Свёрточные сети
Да, ещё используется уменьшение размера картинки (Pooling/Subsampling)

Свёрточные сети
Одна из первых сетей для классификации
Неплохо, но так просто
уже никто не делает.
Гляньте на GoogLeNet

Применение
Классификация
Регрессия
Детектирование
Обучение представлений (Embeddings)
…

За кадром
ReLU
Dropout
1x1 convolution
Residual Blocks
Inception Blocks
Batch Normalization
Fully Convolutional Networks

Автоэнкодер
Нейросеть + Нейросеть наоборот = Автоэнкодер

Автоэнкодер
Нейросеть + Нейросеть наоборот = Автоэнкодер
Если сигнал на выходе будет близок ко входу, то Code будет представлять
собой хорошее компактное описание сигнала
Система может снижать уровень шума сигнала, восстанавливать изображения
Система может переводить данные в пространство меньшей размерности
Decoder может преобразовывать сигнал в другую область,
например переводить предложения или генерировать ответы на фразы

U-net
Автоэнкодер + Skip-connection = U-net
shortcut
shortcut
Можно делать сегментацию изображений!

Генерирующие сети
Случайный вход + Нейросеть наоборот = Генерирующая сеть
Хотим генерировать реалистичные изображения

Generative adversarial network
Генерирующая сеть + Классифицирующая Нейросеть = GAN

Этих людей не существует
Их нет! Изображения сгенерированы сетью по случайным входам

Conditional GAN
U-net + Нейросеть (Классификатор) = Conditional GAN
Real or
fake pair?
U-net
Ещё более хитрый способ решения задачи сегментации

Pix2pix
Код в open-source

Conditional GAN
Информация + Генератор + Дискриминатор = cGAN
Можно гененировать изображения по текстовому описанию

CycleGAN
cycle-consistency
cycle-consistency
Нет соответствующих пар! Обучение без учителя

CycleGAN
Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. Zhu, Park, Isola, Efros
Два умных мужика и два китайца делают чудеса

Паровоз ещё не уехал!
Новые архитектуры и модели впереди!

Мои проекты
ФГУП "ГосНИИАС" (ГНЦ РФ)
(Кафедра управляющих и информационных систем МФТИ)
Лаборатория гибридных интеллектуальных систем МФТИ
Лаборатория МФТИ-Сбербанк

Магазин будущего

Магазин будущего
Детектирование товаров
Трекинг товаров
Распознавание действий и позы покупателей
Идентификация покупателей
Трекинг покупателей по залу
Составление виртуальной корзины покупок и привязка к покупателю для автоматической оплаты
Отслеживание пустот на полках

Семантическая сегментация аэро- и космоснимков

Визуальный осмотр воздушных судов
с помощью дронов и ИИ
Дрон + Детектор + Система ориентирования + Система управления = Автоматический визуальны осмотр

Новая
биометрия
Динамические паттерны вместо статических + Случайные стимулы = Защита от копирования биометрических шаблонов