Создание антропоморфного манипулятора руки, управляемого от биопотенциалов тела

План выступления
Обзор: Антропоморфные манипуляторы и их системы управления
Предлагаемые решения и уровень разработок:
Цели проекта, требуемые ресурсы и технологии
Механическая часть – конструкция, кинематика, виртуальные модели руки
Система управления – привод на пневмомышцах
Регистрация и классификация ЭМГ
Синтез управляющих команд

Антропоморфные манипуляторы и биопротезы с захватывающим устройством
Примеры антропоморфных манипуляторов (далее – АМ)
Примеры биопротезов
Примеры систем управления (механические, от перчаток)
Примеры систем управления (ЭМГ и ЭЭГ)
Источники информации http://mindtrans.narod.ru/hands/hands.htm

Антропоморфные манипуляторы
Shadow dexterous hand C6M (Shadow Robot, Англия, http://www.shadowrobot.com)
Система «Shadow dexterous hand» является новейшей системой антропоморфных манипуляторов с захватом, которая воспроизводит движения человеческой руки, а также обеспечивает силу и чувствительность, сравнимую с человеческой. Для каждого пальца используется 2 «сухожилия». Подобный манипулятор может поднимать и удерживать объекты малого и среднего размеров и выполнять точные движения. Имеются две основные модификации – на сервоприводах и пневматических мышцах. Вес – до 4 кг, стоимость – 100 К евро.

Shadow dexterous hand C6M

Коммерчески доступные протезы
MyoSensorHand (Otto Bock, Австрия, http://www.ottobock.com)
Система миоэлектрических биопротезов, обеспечивающая захват и удержание предметов, и имеющая встроенную систему обратной связи для автоматического увеличения силы захвата при обнаружении выпадения предметов из захвата биопротеза. Может воспроизводить более 10 наиболее часто используемых паттернов захватов и движений. 1-2 степени свободы в кисти. Протезы кисти, предплечья, плеча. Стоят от 20 К евро (в Европе).

Протезы - MyoSensorHand, i-LIMB
Инструкция 1
Инструкция 2
Инструкция i-LIMB

Пневмо-протезы (видео 2004 года)

Биопротезы нового поколения
RSLSteeper (2010, Bebionic, Англия, http://www.bebionic.com)
Управляемый от биопотенциалов манипулятор нового поколения с индивидуальными приводами для каждого пальца позволяет ему выполнять движения, близкие к естественным, при выполнении различных задач. Может выполнять 14 различных видов захвата и перемещений рук, например, включать и удерживать обычный домашний фен для волос, управлять компьютерной мышью и производить прочие сложные манипуляции.

Механический тип управления

От перчаток виртуальной реальности

ЭМГ-управление от Microsoft (2009)
«Одеваемый мускульно-компьютерный интерфейс» (wearable muscle-computer interface) - разработка фирмы Microsoft в области человеко-машинного интерфейса для контроля и взаимодействия вычислительных систем посредством использования биопотенциалов, которые генерируются при движении различных мышц тела. В течение ближайших 2-3 лет ожидается появление коммерческих продуктов, основанных на данной технологии, в дополнение к технологии Kinect.
31 декабря 2009 года компанией был получен патент US20090327171 в области распознавания кинематических движений руки человека по миограмме предплечья.
EMG Human-Computer Controllers (Microsoft, США, www.microsoft.com)

ЭМГ-управление от Microsoft – новый тип HCI

ЭЭГ-управление (2011, система АМО)
http://www.robaid.com/bionics/brain-controlled-artificial-muscle-operated-amo-arm.htm
2 студента из Университета Риерсона, США создали за 72 часа Artificial Muscle-Operated (AMO) Arm на основе пневмомышц и системы клапанов, управляемую от сигналов мозга.

Вопросы:
Можем ли мы воспроизвести подобные технологии?
Какие ресурсы и сколько времени нужно для этого?
Как просто или сложно это делать?

Цели проекта, требуемые ресурсы и технологии
Разработка алгоритмов и технологической основы системы управления (СУ) антропоморфными манипуляторами с захватывающим устройством (далее – манипуляторами) от биопотенциалов тела человека.
Получение значимых научных результатов при решении задач регистрации, классификации и анализа биопотенциалов тела для распознавания типа движений, выполняемых человеком и определения усилий, с которыми производятся эти движения.
Создание биопротезов с большей степенью подвижности

Основные задачи проекта
Создать манипулятор и его привод с индивидуальным контролем движений пальцев.
Выделить из регистрируемых биопотенциалов большое количество типов движения в реальном времени и в непрерывном режиме.
Синтезировать управляющие команды с учетом обратной связи для манипулятора с большим количеством управляемых степеней подвижности в захвате.

Типовое ТЗ на манипуляторы (от предплечья):
Требования к кинематике:
Число степеней подвижности: 24, в т.ч. управляемых: 9
Число приводов: 17
Требования к приводам пальцев манипулятора:
Тип привода: ЭАП, серво- или пневматические мышцы
Развиваемое минимальное усилие: 30 Н
Требования к приводам кисти манипулятора:
Тип привода: ЭАП, серво- пневматические мышцы
Развиваемое минимальное усилие: 120 Н
Масса манипулятора: не более 4 кг
Динамические характеристики:
Скорость сближения пальцев: не менее 100 мм/с
Время полного сгибания пальца: не более 0.5 с

Типовое ТЗ на манипуляторы (от предплечья, прод.):
Силовые характеристики:
Усилия, развиваемые в сочленениях пальцев: не менее 0,5 Нм
Усилия, развиваемые в сочленении предплечье-запястье: не менее 20 Нм
Максимальный удерживаемый вес – не менее 1 кг
Требования к сенсорам
Наличие тактильных датчиков в пальцах манипулятора: не менее 1 датчика на каждый палец
Чувствительность датчиков не менее 0,03 Н
Наличие датчиков положения: в каждом сочленении
Диапазон измеряемых величин: 0-90°
Разрешающая способность: не менее 0,2°.
Наличие датчиков давления: в каждой пневматической мышце
Диапазон измеряемых величин: 0 – 4 бар.
Чувствительность датчика: 0,004 бар

Типовое ТЗ на манипуляторы (от предплечья, прод.):
Требования к интерфейсу :
Интерфейс для связи с компьютером: USB
Внутренний интерфейс: CAN
Требования к входным биосигналам :
Разрешение - не менее 24 бит
Частота регистрации - не менее 1000 Гц
Полоса пропускания (по уровню – 3дБ) - не менее 0.5-300 Гц
Количество каналов регистрации миограммы: не менее 10
Требования к питанию – для биопротезов от встроенных аккумуляторов
Покрытие силиконом:
Покрытие силиконом с характеристиками: твердость по Шору – не более 10, вязкость 23000 сантипуаз
Возможность выбора цвета покрытия индивидуально
Диапазон рабочих температур биопротеза 0-40° С

Требуемые ресурсы и опыт по:
Созданию мехатронных устройств с большим количеством степеней подвижности
Созданию виртуальных кинематических и динамических моделей
Созданию малогабаритных систем управления на микроконтроллерах
Созданию приводов мехатронных модулей
Созданию программного обеспечения на микроконтроллере для управления мехатронными изделиями
Регистрации, анализу, классификации поверхностных биопотенциалов руки
Созданию прикладного программного обеспечения для анализа и классификации и многоканальных сигналов с решением задачи идентификации независимых источников
Реализации параллельных вычислений
Наличию производственной базы для изготовления узлов мехатронной части манипулятора

Мехатроника
Прототип руки из алюминия (Нейроботикс)
Прототип руки из углепластика (Политермо)

Типовые паттерны захвата (часть 1: 7 из 14)
Захват тремя пальцами
Силовой захват четырьмя пальцами ладони и противопоставленного им большого пальца
Захват плоских предметов между полусогнутым указательным и непротивопоставленным большим пальцем
Указание пальцем
Сведение указательного, среднего и непротивопоставленного большого пальца в захват для удержания тонких предметов с сечением, близким к цилиндрическому
Захват компьютерной мыши
Курковый захват указательным пальцем

Типовые паттерны захвата (часть 2):
Аккуратный открытый захват большим и указательным пальцами
Аккуратный закрытый захват большим и указательным пальцами
Захват-щипок большим и указательным пальцами
Захват-крюк четырьмя частично согнутыми пальцами ладони
Захват, обеспечивающий фиксированную точку прижатия большим пальцем и пальцами ладони
Открытый ладонный захват
"Расслабленное" положение захвата

Типовые паттерны захвата (часть 3 – пример №1):
Захват тремя пальцами
Трехпалый захват должен осуществляться посредством встречи указательного и среднего пальцев с большим пальцем. Остальные пальцы продолжат сгибаться, пока не встретят сопротивление, либо пока не прекратится сигнал на сгибание. Этот тип захвата должен позволить поднимать, удерживать и манипулировать, например, такими предметами, как ключи от машины, монеты, ручки и пробки от бутылок. В качестве тестовых объектов должны быть использованы связка ключей и карандаш, толщиной не более 7 мм, или сходный по своим параметрам объект.

Типовые паттерны захвата (часть 3 – пример №2):
Силовой захват четырьмя пальцами ладони и противопоставленного им большого пальца
При силовом захвате все четыре пальца должны сгибаться к ладони до конца, пока они не встретят сопротивления, либо пока не прекратится сигнал на сгибание. Когда пальцы приблизятся к положению полного сжатия, большой палец также должен начать сгибаться; в результате рука должна сделать обхват. Такой способ захвата должен надежно удерживать круглые объекты, например, мячик, фрукт, или даже яйцо, не прилагая чрезмерную силу. Кроме того он должен обеспечивать рукопожатие или приводиться в полусогнутое состояние чтобы нести портфель или сумку, что особенно важно для наделения данными функциями биопротезов. В качестве тестовых объектов должны быть использованы мячик для бадминтона, бутылка средних размеров, сумка с грузом, или сходный по своим параметрам объект.

Типовые паттерны захвата (часть 3 – пример №3):
Захват компьютерной мыши
При данном типе захвата большой палец и мизинец должны сомкнуться для захвата мыши с двух сторон, при этом средний и безымянный должны помочь удерживать мышь сверху. Указательный палец должен быть при этом под независимым контролем и сгибаться к кнопке мыши а затем разгибаться назад, чтобы обеспечить нажатие кнопки (клик). В качестве тестового объекта должна быть использована компьютерная мышь или сходное по своим параметрам устройство.
"Расслабленное" положение захвата
При данном типе захвата большой палец должен быть установлен в непротивопоставленное положение и частично прижат в к ладони, остальные пальцы приведены в немного согнутое положение, чтобы обеспечить "расслабленное" положение рук.

Типовые паттерны захвата (часть 3 – пример №3):
Захват компьютерной мыши
При данном типе захвата большой палец и мизинец должны сомкнуться для захвата мыши с двух сторон, при этом средний и безымянный должны помочь удерживать мышь сверху. Указательный палец должен быть при этом под независимым контролем и сгибаться к кнопке мыши а затем разгибаться назад, чтобы обеспечить нажатие кнопки (клик). В качестве тестового объекта должна быть использована компьютерная мышь или сходное по своим параметрам устройство.
"Расслабленное" положение захвата
При данном типе захвата большой палец должен быть установлен в непротивопоставленное положение и частично прижат в к ладони, остальные пальцы приведены в немного согнутое положение, чтобы обеспечить "расслабленное" положение рук.

Кинематическая модель

Приводы на серводвигателях

Приводы на пневмо-мышцах
Видео №1
Видео №2
Видео №1
Видео №2

Регистрация биопотенциалов
Количество каналов – от 52 до 160
Частота опроса – до 2000 Гц/канал
Регистрация ЭМГ и ЭЭГ
Использование индивидуальных и матричных электродов для High-Density surface Electromiography
Выделение активности отдельных мышц и нейромышечных единиц

Матричные электроды