Поиск объектов на изображении с помощью U-Net

Directum Ario
Классификация документов (договор, акт выполненных работ, счёт и пр.).
Извлечение фактов из документов (наименования организаций, даты, адреса и пр.).
Сравнение документов.
Поиск подписей и печатей.

План доклада
Проблема.
Поиск подписей при помощи OpenCV.
Введение в нейронные сети.
Поиск подписей с помощью нейронных сетей.
Итоги.

Проблема
Пришёл заказчик, которому требовалось определять наличие подписи для валидации анкеты.

Поиск подписей при помощи OpenCV

Алгоритм
переводим в ч/б
находим контуры
берём наибольший
???
PROFIT!

PROFIT?

Классификация “подпись/не подпись”
68%

Введение в нейронные сети

Нейронная сеть

Нейронная сеть

Нейронная сеть

Нейронная сеть

Нейронная сеть

Слои нейронной сети
Полносвязный слой (Dense layer).
Свёрточный слой (Convolutional layer).
Рекуррентный слой (Recurrent layer).

Слои нейронной сети
Полносвязный слой (Dense layer).
Свёрточный слой (Convolutional layer).
Рекуррентный слой (Recurrent layer).

Convolutional Layer

Поиск подписей с помощью нейронных сетей

Работа в проекте с нейронными сетями
Постановка задачи.
Выбор метрик качества.
Поиск, подбор, разметка данных.
Выбор и настройка нейронной сети.
Если метрики не устраивают возвращаемся к п.3.
Встраивание в сервис.

U-Net

Архитектура сети

Архитектура сети

Обучение сети

Что делать с результатом работы нейронной сети?
Подбираем порог на котором режем подписи:
фиксированный
вычисляемый

Измеряем качество

Измеряем качество

Измеряем качество

Прямоугольная разметка
Разметка подписей обрамляющими прямоугольниками
F1-мера: 72%

Аугментация
горизонтальное и вертикальное отражение
повороты на 90, 180, 270 градусов
F1-мера: 76%

Полигональная разметка
Разметка полигонами, приближенными к подписи
F1-мера: 82%

Тюнинг сети
добавили слои
изменили размер входного слоя
F1-мера: 87%

Плюсы
относительно быстрое обучение нейронной сети
небольшой размер обученной модели
простая и понятная архитектура
быстрое выполнение на CPU
приемлемое качество
простое обучение
просто обучить на поиск других объектов

Минусы
сложно разделить “слипшиеся” объекты
из коробки не получилось обучить для нескольких классов (подписи, печати)
из коробки качество местами не очень
могут возникнуть проблемы, если необходимо искать объекты разных размеров

Что дальше?
Deep Watershed Transform
другие архитектуры сетей

Ссылки
Keras U-Net starter
Understanding Semantic Segmentation with UNET
U-Net: Convolutional Networks for Biomedical Image Segmentation
Глубокое обучение на Python