Распознаем документы с помощью FPN и Tesseract

Who are you, again?
2015-2019
Бакалавриат Data Science
2018-now
Разработчик машинного обучения

Глава 1
О проблеме

Описание проблемы
Пользователь
Электронная подпись
Шаг 1
Шаг 2
Шаг 3

Описание проблемы
Пользователь
Электронная подпись
Шаг 1
Шаг 2
Шаг 3
Заполнить данные в форму

Описание проблемы
Пользователь
Электронная подпись
Шаг 1
Шаг 2
Шаг 3
Распечатать и подписать заявление

Описание проблемы
Пользователь
Электронная подпись
Шаг 1
Шаг 2
Шаг 3
Отправить на проверку
и дождаться одобрения

Описание проблемы
Пользователь
Электронная подпись
Шаг 1
Шаг 2
Шаг 3

Описание проблемы
Шаг 1
Шаг 2
Шаг 3

Описание проблемы
Шаг 1
Шаг 2
Шаг 3

Описание проблемы
Шаг 1
Шаг 2
Шаг 3

Описание проблемы
Шаг 1
Шаг 3
Шаг 2

Интересные цифры
Время оператора
на 1 заявление:
2 МИН.

Интересные цифры
Время оператора
на 1 заявление:
2 МИН.
Время ожидания
очереди к оператору:
2-4 ЧАСА
x кол-во ошибок

Решение
Распознаем скан/фото и предупреждаем об ошибках:
не совпадает дата
не совпадает номер телефона
не совпадают реквизиты паспорта
нет подписи
…

Глава 2
О том, как устроена архитектура решения

Цели
Быстро для создания
Контролируемо
Поменьше велосипедов

Заявление

Заявление
QR код
Таблица
Дата
Паспортные данные
Блок подписей
+ печать
Телефон

1 giant model
End2End

1 giant model
End2End – way too heavy
Долго и сложно создавать
Очень сложно контролировать

OCR
OCR + rules
rules

OCR
OCR + rules – way too unstable
rules
Низкое качество
Сложные и нестабильные правила

QR код
Таблица
Дата
Паспортные данные
Блок подписей
+ печать
Телефон

QR код
Таблица
Дата
Паспортные данные
Блок подписей
+ печать
Телефон

Таблица
Дата
Паспортные данные
Блок подписей
+ печать
Телефон

Pipeline
Segmentation
Text recognition
Дата
Телефон
Другие данные
ФИО, серия, номер
Multilabel classification
Есть печать
Есть подпись субъекта
Есть расшифровка

Pipeline
Segmentation
Text recognition
Multilabel classification
Есть печать
Есть подпись субъекта
Есть расшифровка
Orientation
Дата
Телефон
Другие данные
ФИО, серия, номер

Pipeline
Segmentation
Text recognition
Multilabel classification
Есть печать
Есть подпись субъекта
Есть расшифровка
Orientation
Box extraction
Дата
Телефон
Другие данные
ФИО, серия, номер

Технологии
Text recognition
Multilabel classification
Есть печать
Есть подпись субъекта
Есть расшифровка
Дата
Телефон
Другие данные
ФИО, серия, номер
Segmentation
Orientation
Box extraction
MobileNet
FFT / MobileNet для поворотов
FPN для сегментации
Tesseract + эвристики

Глава 3
О граблях, технологиях
и озарениях

Segmentation
Text recognition
Multilabel classification
Есть печать
Есть подпись субъекта
Есть расшифровка
Orientation
Box extraction
Предобработка картинки
Сегментация
Распознавание текста
Дата
Телефон
Другие данные
ФИО, серия, номер

Предобработка картинки
Сегментация
Распознавание текста
Как сделать поворот картинок?

Предобработка картинки
Сегментация
Распознавание текста
Как максимально глупо (но очень быстро) сделать поворот картинки?

Предобработка картинки
Сегментация
Распознавание текста
Как максимально глупо (но очень быстро) сделать поворот картинки?
сделать обучающую разметку на глаз
начать с модели (MobileNet), вместо алгоритма
обучать как классификацию на 360 классов
Loss: categorical_crossentropy

Предобработка картинки
Сегментация
Распознавание текста
Как максимально глупо (но очень быстро) сделать поворот картинки?
сделать обучающую разметку на глаз
начать с модели, вместо алгоритма
обучать как классификацию на 360 классов
Loss: categorical_crossentropy
Loss (2 градуса разницы) = Loss (45 градусов разницы)

Предобработка картинки
Сегментация
Распознавание текста
Как максимально глупо поворачивать картинку?
Метрика: среднее отклонение угла
Было
Предсказание

Предобработка картинки
Сегментация
Распознавание текста
Вывод:
Иногда самое тупое решение может оказаться неплохим baseline-ом.
P.S. В конечном итоге мы используем Fast Fourier transform (FFT)

Segmentation
Text recognition
Multilabel classification
Есть печать
Есть подпись субъекта
Есть расшифровка
Orientation
Box extraction
Предобработка картинки
Сегментация
Распознавание текста
Дата
Телефон
Другие данные
ФИО, серия, номер

Предобработка картинки
Сегментация
Распознавание текста
FPN – Feature Pyramid Network
https://arxiv.org/abs/1612.03144

Предобработка картинки
Сегментация
Распознавание текста
https://medium.com/@jonathan_hui/understanding-feature-pyramid-networks-for-object-detection-fpn-45b227b9106c
FPN:
ну очень быстрый обзор

Предобработка картинки
Сегментация
Распознавание текста
https://medium.com/@jonathan_hui/understanding-feature-pyramid-networks-for-object-detection-fpn-45b227b9106c
FPN:
ну очень быстрый обзор
U

Предобработка картинки
Сегментация
Распознавание текста
https://medium.com/@jonathan_hui/understanding-feature-pyramid-networks-for-object-detection-fpn-45b227b9106c
Bottom-up:
понижаем разрешение, увеличиваем семантический смысл картинки

Предобработка картинки
Сегментация
Распознавание текста
https://medium.com/@jonathan_hui/understanding-feature-pyramid-networks-for-object-detection-fpn-45b227b9106c
Top-down:
восстанавливаем разрешение картинки

Предобработка картинки
Сегментация
Распознавание текста
https://medium.com/@jonathan_hui/understanding-feature-pyramid-networks-for-object-detection-fpn-45b227b9106c
1x1 свертки:
повторяют смысл skip-connections в ResNet

Предобработка картинки
Сегментация
Распознавание текста
https://medium.com/@jonathan_hui/understanding-feature-pyramid-networks-for-object-detection-fpn-45b227b9106c
Предсказания каждого слоя скейлятся к нужному размеру и соединяются в финальное предсказание.

Предобработка картинки
Сегментация
Распознавание текста
More on segmentation model
Модель сегментации:
FPN
Backbone – ResNet, предтренированный на Imagenet
https://github.com/qubvel/segmentation_models

Предобработка картинки
Сегментация
Распознавание текста
More on segmentation model
Модель сегментации
FPN
Backbone – ResNet, предтренированный на Imagenet
https://github.com/qubvel/segmentation_models
Input shape: (512, 512, 3)
Output shape:
(512, 512, 7)
6 classes + 1 background

Предобработка картинки
Сегментация
Распознавание текста
More on segmentation model
Модель сегментации
FPN
Backbone – ResNet, предтренированный на Imagenet
https://github.com/qubvel/segmentation_models
Input shape: (512, 512, 3)
Output shape:
(512, 512, 7)
6 classes + 1 background
Optimizer: Adam
Loss: bce_jaccard_loss
Metric: IOU-score

Предобработка картинки
Сегментация
Распознавание текста
Spinoff
bce_jaccard_loss
Balanced cross entropy +
Jaccard loss
IoU metric

Предобработка картинки
Сегментация
Распознавание текста
More on segmentation model
Модель сегментации
FPN
Backbone – ResNet, предтренированный на Imagenet
https://github.com/qubvel/segmentation_models
Input shape: (512, 512, 3)
Output shape:
(512, 512, 7)
6 classes + 1 background
Optimizer: Adam
Loss: bce_jaccard_loss
Metric: IOU-score
Augmentations
https://github.com
/albumentations-team/albumentations
60 epochs
BS: 24

Предобработка картинки
Сегментация
Распознавание текста
Вывод
Value: 0.9847

Segmentation
Text recognition
Multilabel classification
Есть печать
Есть подпись субъекта
Есть расшифровка
Orientation
Box extraction
Предобработка картинки
Сегментация
Распознавание текста
Дата
Телефон
Другие данные
ФИО, серия, номер

Предобработка картинки
Сегментация
Распознавание текста
Дано:

Предобработка картинки
Сегментация
Распознавание текста
Мы распознаем текст с помощью Tesseract
https://github.com/tesseract-ocr/
Open Source OCR Engine
OCR – Optical Character Recognition

Предобработка картинки
Сегментация
Распознавание текста
Tesseract – очень хорош

Предобработка картинки
Сегментация
Распознавание текста
Tesseract – очень хорош, но капризен
Detected: <+ 9 322->

Предобработка картинки
Сегментация
Распознавание текста
Tesseract – очень хорош, но капризен
Detected: + 9 322-
Detected: [phone],
86% -> 96% accuracy

Предобработка картинки
Сегментация
Распознавание текста
Магия для Tesseract’а

Предобработка картинки
Сегментация
Распознавание текста
Магия для Tesseract’а
Padding
Scaling

Предобработка картинки
Сегментация
Распознавание текста
Что ещё полезно знать о Tesseract
Используйте Tesseract V4, у которого под капотом LSTM
Смотрите за версиями языковых пакетов, разница в точности распознавания ~ 5%
Tesseract best – медленнее в 1,5 раза, но + 1,5% точности

Предобработка картинки
Сегментация
Распознавание текста
Вывод:
Tesseract – на удивление простое в использовании и качественное решение.
Зная о тонкостях работы с ним и используя некоторые трюки, можно получить стабильное решение для production-а.

Глава 4:
Завершающая

Итоги
Accuracy so far:
даты: 98%
телефоны: 96%
паспортные данные: 86%
Summary:
FPN – очень сильная архитектура для подобных задач
Tesseract – используем аккуратно и радуемся
иногда странные вещи тоже могут работать