Распознавание двух- и трехмерных жестов ладони

План презентации
Понятие скелета
Анализ формы руки посредством скелета
Выделение пальцев
Распознавание жестов
Анализ формы в 3д
Восстановление 3д модели трубчатых объектов
Трекинг 3д положения руки

План презентации
Понятие скелета
Анализ формы руки посредством скелета
Выделение пальцев
Распознавание жестов
Анализ формы в 3д
Восстановление трубчатых объектов
Трекинг 3д положения руки

Скелет фигуры
Скелет (или серединные оси) фигуры – множество центров и радиусов вписанных в фигуру кругов.

Скелет фигуры
Скелет = центры и радиусы максимальных вписанных кругов

Скелет фигуры
Рассматриваем только скелеты многоугольников
Эффективный алгоритм имеет вычислительную сложностью O(N log N), где N – число вершин

План презентации
Понятие скелета
Анализ формы руки посредством скелета
Выделение пальцев
Распознавание жестов
Анализ формы в 3д
Восстановление трубчатых объектов
Трекинг 3д положения руки

Анализ формы руки
Бинаризация исходной картинки
Построение скелета
Анализ скелета и выделение пальцев

Анализ скелета
Цель: выделить пальцы и центр руки

Ветвь скелета
Ветвь скелета – часть скелета составляющая непрерывную кривую
Ветвь AB -> палец
Ветвь CD -> не палец

Функция радиуса вдоль ветви
Функция радиуса вдоль ветви – зависимость радиуса вписанного круга от расстояния до конца ветви
RAB(|BX|) = r - значение функции радиуса вдоль AB в точке X

Функция радиуса вдоль ветви
Функция радиуса для ветви-пальца

Функция радиуса вдоль ветви
Функция радиуса для ветви не пальца

Анализа формы на основе скелета
Инструменты анализа формы:
Структура и топология скелета
Значение функции радиуса

Анализ формы руки
Для каждой терминальной ветви скелета:
Поиск наиболее вероятной точки C – соединения пальца и пясти
Проверка условий на геометрические параметры ветви

Пример результата анализа
Найдены все 3 пальца

План презентации
Понятие скелета
Анализ формы руки посредством скелета
Выделение пальцев
Распознавание жестов
Анализ формы в 3д
Восстановление трубчатых объектов
Трекинг 3д положения руки

2Д жесты руки
С помощью скелета легко определить:
Количество видимых пальцев
Положения кончиков пальцев
Наличие кольца

Экспериментальная установка
Веб-камера над однородной темной поверхностью
Однородная поверхность для упрощения бинарзации
Алгоритм обработки:
Бинаризация картинки
Анализ формы ладони
Распознавание жестов

План презентации
Понятие скелета
Анализ формы руки посредством скелета
Выделение пальцев
Распознавание жестов
Анализ формы в 3д
Восстановление трубчатых объектов
Трекинг 3д положения руки

Трубчатый (локально симметричный) объект
Пространственный граф
Круговое сечение
Жирные кривые

Проекции трубчатого объекта
Камера 2
Камера 1
Пространствен- ные оси
Скелеты силуэтов

Восстановление проволочной модели
Получение стереопары силуэтов
Построение скелетов для каждого силуэта
Сопоставление ветвей скелетов
Стерео триангуляция и восстановление 3д модели

Восстановление проволочной модели
Получение стереопары силуэтов
Построение скелетов для каждого силуэта
Сопоставление ветвей скелетов
Стереотриангуляция и восстановление 3д модели

Восстановление проволочной модели
Получение стереопары силуэтов
Построение скелетов для каждого силуэта
Сопоставление ветвей скелетов
Стереотриангуляция и восстановление 3д модели

Восстановление проволочной модели
Получение стереопары силуэтов
Построение скелетов для каждого силуэта
Сопоставление ветвей скелетов
Стереотриангуляция и восстановление 3д модели
OA <-> O’A’

Восстановление проволочной модели
Получение стереопары силуэтов
Построение скелетов для каждого силуэта
Сопоставление ветвей скелетов
Стереотриангуляция и восстановление 3д модели

Пример реконструкции

Восстановление проволочной модели
Не требуется построение карты глубины
Скелет позволяет образовывать стереопары из невидимых точек
Применимо для картинок низкого качества, где невозможно точное сопоставление по текстуре

План презентации
Понятие скелета
Анализ формы руки посредством скелета
Выделение пальцев
Распознавание жестов
Анализ формы в 3д
Восстановление трубчатых объектов
Трекинг 3д положения руки

Экспериментальная установка
2 откалиброванных веб-камеры над однородной темной поверхностью
Однородная поверхность для упрощения бинарзации
Алгоритм обработки:
Бинаризация картинки
Анализ формы ладони
Стерео сопоставление
Распознавание жестов

Слежение за рукой в 3Д
Стереопара изображений
Бинаризация, построение и анализ скелета
Определение 3д координат

Заключение
Скелет – богатый дескриптор формы
Легкий анализ 2Д формы руки
Распознавание жестов руки
Анализ скелета на стереопаре
Восстановление 3д проволочной модели объекта, даже в тех случая когда обычное стерео сопоставление затруднительно
Распознавание 3д жестов
Все алгоритмы работают в реальном времени