Определение точек поворотов пальцев при создании шаблона ладони

Содержание
Предпосылки
Модель ладони
Определение точек поворотов
Эксперименты

Содержание
Предпосылки
Модель ладони
Определение точек поворотов
Эксперименты

Задача распознавания формы ладони
бинарное изображение ладони
граничное представление
...

Метод решения
Построение эталонной модели ладони человека
Сравнение ладоней путём подгонки эталонной модели под тестовое изображение

Содержание
Предпосылки
Модель ладони
Определение точек поворотов
Эксперименты

Гибкий объект
Семейство кругов C={ct,t∊T} – циркулярный граф
Объединение кругов (как точечных множеств) S=⋃ct, t∊T – силуэт циркулярного графа
Множество трансформаций циркулярного графа, сохраняющих его топологическую структуру и образующих группу – деформации V={v(α)}α∊A
Осевой граф (скелет) T ⊂ℝ2 – связный планарный граф с конечным числом вершин и непрерывными рёбрами
Гибкий объект G={C,V} – циркулярный граф и множество допустимых деформаций

Трансформации
Основные движения
сдвиг ладони
поворот ладони
поворот пальцев
Допустимые трансформации
сдвиг циркулярного графа
поворот циркулярного графа
поворот ветвей циркулярного графа

Разметка ладони
Основные шаги
Выделение пальцев
Определение точек поворотов пальцев
Обозначения
кончики: P1, P2, P3, P4
основания: O1, O2, O3, O4
точки поворотов: R1, R2, R3, R4
оси: P1R1, P2R2, P3R3, P4R4

Сравнение формы ладоней
Эталонная ладонь G1
Тестовая ладонь G2

Сравнение формы ладоней
Совмещение кончиков средних пальцев (точка P3)
Совмещение осей средних пальцев (прямая P3R3)
Исключение большого пальца
Исключение области запястья (ниже прямой O1O4)
Применение трансформаций с целью наилучшего совмещения силуэтов ладоней (минимизация μ)
Вычисление меры схожести ладоней μ*=min μ
μ(G1, G2) = Area(G1\G2) + Area(G2\G1)

Подгонка
Площадь ладони в среднем – 40000 пикселей
Эталонная ладонь G1
Тестовая ладонь G2
Начальное совмещение
Наилучшее совмещение
μ = 3191
μ = 1714
μ = 10663
μ = 2467

Содержание
Предпосылки
Модель ладони
Определение точек поворотов
Эксперименты

Выделение пальцев

Точки поворотов пальцев
Предположение
Точка поворота пальца находится на оси пальца
Обозначения
=(len1, len2, len3, len4), leni=|PiRi|– расстояние между кончиком и основанием пальца i
=(l1, l2, l3, l4), li=|PiOi| - расстояние между кончиком и точкой поворота пальца i

Подходы
1. Эвристический
li=1.3 leni
достаточно одного изображения ладони для идентификации модели
2. Оптимизационный
по множеству эталонных изображений ладони в разных положениях

Оптимизационный подход
Дано
G1,…,Gn – множество эталонных изображений ладони одного человека, где Gi=Gi( )
μ*(G1, G2) – мера схожести ладоней G1 и G2 (несимметричная)
Средняя схожесть ладоней
Задача

Оптимизационный подход
Решение
перебор: li∊[1.25 leni, 1.5 leni]
численные методы
…
Пример
l1 = 1.25 len1
l2 = 1.38 len2
l3 = 1.25 len3
l4 = 1.38 len4

Пример
Эвристический подход
Оптимизационный подход: полный перебор
Оптимизационный подход: метод Нелдера-Мида

Содержание
Предпосылки
Модель ладони
Определение точек поворотов
Эксперименты

Исходные данные
База ладоней
22 человека
45 эталонных изображений
(2-3 для каждого человека)
52 тестовых изображения
(2-3 для каждого человека)
50 внутриклассовых и
1094 межклассовых расстояния
Оборудование
Web-камера Logitech QuickCam Pro 4000
Размер 640x480 пикселей
1.3 млн. пикселей