Phone Paint Detector. Главные проблемы

Главные проблемы

Деньги
Большие затраты на покупку комплектов аудиогидов

Эстетика
Порча атмосферы и ухудшение впечатления от картин и заведения

Безопасность
В настоящее время более 23% троянских программ и вирусов передаются через QR-коды.
Лю Цинфэн, председатель провайдера облачного сервиса распознавания голоса iFlytek

Есть ли решение?

Предоставить информацию с помощью самой картины

Небольшие вычислительные мощности (обязательно с камерой)
Зайти на сайт веб-приложения
Что нужно для пользования:

Как это работает:
Регистрация
Добавление и удаление
Распознавание

Распознавание картины происходит с помощью уникальных признаков

Алгоритмы

Поиск картины:
Алгоритм поиска прямоугольников
2. Своя нейронная сеть

Наш алгоритм
Оптимизация метода поиска картин с помощью алгоритма поиска
прямоугольников заключается в использовании машинного обучения.
Заготовка изображений картин и фонов
Алгоритм получения данных с сайтов
Генерация данных
Алгоритм генерации данных, заключающийся в накладывании изображений картин в случайных масштабах и под случайным углами на случайные фоны.
Создание и обучение нейронной сети
Корректировка нейронной сети vgg16
Распределение данных по двум категориям: 1 – картина, 0 – картина на фоне

Переобучение нейронной сети:

Нейронная сеть VGG16
2. База данных
Распознавание картин:

KNN
Сравнивается каждый пиксель двух изображений D, L одинакового размера w*h и находится сумма разностей их значений.
Таким образом, если размер изображений равен w*h, то скорость алгоритма поиска расстояния d(D,L) составляет O(2*w*h).
Поиск похожего изображения p по минимальному значению vi расстояния можно представить так:
Тогда скорость поиска похожего изображения при количестве кандидатов n равно O(n).
Общая сложность алгоритма равна O(2*w*h + n) и память M(k2*w*h*n), где k – «приемлемый» масштаб изображения.

Features detection (alg. SIFT)
L(x, y, kԺ) = G(x, y, kԺ) * I(x, y)
Обнаружение экстремумов в масштабном пространстве
Интерполяция соседних данных для точного положения
Ориентация назначения
Для образца изображения в масштабе величина градиента и ориентация предварительно вычисляются с
использованием разностей пикселей:

Neural network (alg. VGG16)
Каждый пиксель изображения L(xi,yj) умножается на вес соответствующего wij нейрона.
Время равно O(w*h).
Сравнение каждого i-го признака матриц признаков v1 и v2 с помощью евклидового расстояния:
Поиск минимального значения r среди Sij

Random Forest
Время равно O(k2w*h*n), где n - количество деревьев.

Таблица скорости работы (сек) соответствующих алгоритмов

Практическая
часть

В результате…