О РАСПОЗНАВАНИИ ЖЕСТОВ ЯЗЫКА ГЛУХИХ

Цель работы
Положительная социализация глухих людей в условиях современного модернизируемого и инновационного общества
Облегчение коммуникации между глухими и слышащими, содействие реализации положений Конвенции о правах инвалидов, принятой Генеральной Ассамблеей ООН 13 декабря 2006 года (к которой Россия присоединилась 24 сентября 2009 года)
Средства достижения:
Описание жестового языка (словари, грамматика)
Создание обучающих пособий по жестовому языку
Создание и использование технических средств для демонстрации и восприятия жестов

Предшествующие разработки
Мультимедийный толковый словарь русского жестового языка RuSLED (Россия)
3D Редактор жестов SignEditor с использованием анимированного персонажа, управляемого с помощью нотации HamNoSys (Чехия)

Недостатки предыдущих работ
RuSLED: в значительной мере содержит жесты «кальки» (Signed Russian), отличные от используемых в естественной жестовой речи (Russian Sign Language); видеофрагменты требуют много памяти и недостаточно информативны
SignEditor: трудоемкий процесс наполнения словаря, не всегда обеспечивается правильное представление жеста
Пути преодоления: использование метода захвата движений (motion capture) для наполнения словаря 3-мерными изображениями жестов

Пример нотации Л.С. Димскис
Запись в нотации HamNoSys чешского жеста «семьдесят»
Общая структура представления жеста в HamNoSys
(на примере немецкого жеста для понятия «трудный»)
Примеры нотации

Съёмка жестов методом захвата движений (motion capture)

Зачем нужен автоматизированный сурдоперевод?
Недостаточное владение глухими словесным русским языком. Из-за ограниченного активного словаря они часто плохо понимают словесную и письменную речь. Из-за затруднений коммуникации глухие, например, НИКОГДА не обращаются к психологам и психиатрам. В свою очередь, слышащие практически не знакомы с жестовым языком.
Нехватка опытных сурдопереводчиков, владеющих не только «калькой», но и «естественным» жестовым языком
Требование глухих о признании их лингвистических прав и придании жестовому языку официального статуса

Перевод жестового высказывания
Выделение ключевых кадров из видеоизображения жестового выражения
Преобразование растрового изображения кадра в совокупность векторных объектов
Анализ найденных объектов для определения значений местоположения и конфигурации рук, характеристик мимики и артикуляции
Разбиение жестового выражения на отдельные жесты, определение грамматической формы и значения каждого жеста
Построение текста (словесной фразы или фраз), передающего значение жестового высказывания

Распознавание – поиск в пространстве признаков
Сокращение размерности: растр → векторные объекты → кортежи признаков, характеризующих объекты
Жест – упорядоченное множество кортежей признаков
Поиск жеста в библиотеке (словаре):
Разбиение жестовой фразы на составляющие жесты
Учет индивидуальных особенностей демонстрации жестов (допустимые отклонения от эталона)

Поиск жестов в словаре RuSLED (опция «И»)
f1: L → G; f2: K → G
Gf = G1 ∩ G2,
G1 = f1({x: x1Ð x2Ð... Ð xl Ý Lu});
G2 = f2({x: x1Ð x2Ð... Ð xk Ý Ku}).
Выбираются жесты, содержащие все заданные позиции и конфигурации.
Если число заданных значений превышают число позиций или конфигураций для какого-либо жеста, то этот жест не будет включен в множество результатов Gf, даже если он содержит указанные пользователем атрибуты.

Поиск жестов в словаре RuSLED (опция «ИЛИ»)
f1: L → G; f2: K → G
Gf = G1 ∩ G2,
G1 = f1({x: x1# x2#... # xl Ý Lu});
G2 = f2({x: x1# x2#... # xk Ý Ku}).
В этом случае в результатах поиска будут отображены все жесты, содержащие хотя бы одну позицию и конфигурацию, заданные пользователем.
Эти методы поиска за счет уменьшения точности (выборка может включать жесты, лишь частично напоминающие искомые) полезны для целей обучения. За счет большей полноты поиска могут быть наглядно представлены результаты неточностей в исполнении жестов.

Разбиение жестового выражения на отдельные жесты
Многие жесты являются составными.
Разделение жестовой фразы на отдельные жесты следует вести, выбирая из словаря соответствующие по последовательности фаз жесты, имеющие наибольшую длину (число фаз), и анализируя семантику получаемого высказывания.
На значение жестового выражения влияет также многозначность жестов: одним и тем же жестом могут передаваться различные понятия и части речи, в частности существительные и глаголы.
При переводе текста в жесты следует учитывать, что некоторые понятия, передаваемые одним словом, передаются различными жестами в зависимости от пространственного положения объекта.

Понимание текста
Результатом понимания текста должно быть опознание объектов, описанных в тексте, их пространственного положения, а также изменений их характеристик, действий и положения в соответствии с изменением времени текста.
Опознание объектов включает в себя не только выделение именных групп, описывающих тот или иной объект, но и распознавание того, встречался ли ранее в тексте данный объект, совпадают ли объекты, имеющие одинаковые имена.

Система автоматической обработки текста должна уметь видеть?
Разрешение дейктической референции при обработке жестовых высказываний требует знания о пространственном положении объекта.
Анализ пространственного положения объектов, описываемых в тексте, подразумевает способность интеллектуальной системы представлять визуальные образы, сопоставлять их друг с другом, расставлять на пространственной шкале «ближе» – «дальше».