Научно-исследовательский Ядерный Университет МИФИФакультетская лаборатория «Робототехника»

Содержание

Слайд 2


«Перспективы человеко-компьютерного интерфейса в робототехнике».

Содержание
О лаборатории ФНУЛ «Робототехника» НИЯУ МИФИ.
Состояние технологии BCI

«Перспективы человеко-компьютерного интерфейса в робототехнике». Содержание О лаборатории ФНУЛ «Робототехника» НИЯУ МИФИ.
в мире.
Ролик про реализацию BCI в нашей лаборатории.

Слайд 3

Роботы семейства Pioneer фирмы Mobil Robots Inc

Роботы семейства Pioneer фирмы Mobil Robots Inc

Слайд 4

Парк роботов лаборатории

Команда роботов

Робот-эколог
(в разработке)

Парк роботов лаборатории Команда роботов Робот-эколог (в разработке)

Слайд 5

Робот-паук AH3-R-MEPhI (Lynxmotion Inc., )

Робот-паук AH3-R-MEPhI (Lynxmotion Inc., )

Слайд 6

Робот-паук

Программная система управления мобильного робототехнического комплекса AH3-R-MEPhI, основана на разработанной в МИФИ

Робот-паук Программная система управления мобильного робототехнического комплекса AH3-R-MEPhI, основана на разработанной в
аппаратной плате для подключения датчиков и обеспечения связи с удаленной станцией управления и удобного интерфейса оператора.
Работы авторского коллектива по данному направлению не завершены, но полученные на текущий момент результаты позволяют рассчитывать на построение полнофункциональной системы в ближайшие месяцы.
Состояние разработки: в 2012 году реализован прототип системы управления, реализован контроллер.
Область применения: мобильная робототехническая платформа для работы в условиях пересеченной местности.

Слайд 7

Робот «МИФИ-РЭ»

Робот «МИФИ-РЭ»

Слайд 8

Некоторые характеристики

Робот МИФИ-РЭ (робот-эколог) полностью спроектирован и изготовлен в МИФИ.
В качестве

Некоторые характеристики Робот МИФИ-РЭ (робот-эколог) полностью спроектирован и изготовлен в МИФИ. В
бортового компьютера использован нетбук, который кроме своей вычислительной мощности, имеет USB-порты и WiFi-канал.
Для управления двигателями двух ведущих колес робота используется микроконтроллер.
Для обеспечения интерфейса с набором бортовых датчиков разработана интерфейсная плата-контроллер.
Все датчики робота можно разделить на две группы:
Датчики управления. Установлены две видеокамеры, группа датчиков расстояния (типа сонаров и точечных лазеров, акселерометры). Планируется установка датчиков спутниковой системы навигации GPS или ГЛОНАСС.
Датчики целевые. К ним прежде всего относятся датчики температуры и влажности, датчик радиации ( гейгера-счетчик) и, возможно, некоторые другие.

Слайд 9

Основные направления исследований и разработок лаборатории

Разработка интерфейсных электронных плат для роботов

Разработка языка

Основные направления исследований и разработок лаборатории Разработка интерфейсных электронных плат для роботов
действий роботов -ЯД

Управляющее ПО для роботов и команд роботов и ОС РВ

Разработка алгоритмов и ПО для структурного описания 3D-сцен

Алгоритмы и ПО для обработки 2D и 3D изображений

Слайд 10

Технологические направления

Сети передачи данных( Wi-Fi, Ethernet, радиоканал).
Оптимизация трафика в сетях, сетевая безопасность.

Сети

Технологические направления Сети передачи данных( Wi-Fi, Ethernet, радиоканал). Оптимизация трафика в сетях,
передачи данных

Системы и типы датчиков

Видео, дальномеры, датчики давления, датчики. скорости, сонары, радиации, влажности, давления и т.п.

Обработка и хранение данных

Вычислительные комплексы ( контроллеры, кластеры).
Системы хранения данных, облачные вычисления.

Слайд 11

Язык действий (ЯД)

Существует начальный прототип системы управления коллективом роботов, которая основана на

Язык действий (ЯД) Существует начальный прототип системы управления коллективом роботов, которая основана
методе ручного программирования роботов, подразумевающего прямой ввод оператором поведения, желаемого от робота. Поведение - это последовательность действий, например, перемещение из точки А в точку Б, затем обзор местности, затем передача на станцию управления заданной информации, затем перемещение в точку С и т.д. Управление роботом на метауровне позволяет разгрузить оператора от "рутинной" работы по управлению и контролю. Существует начальная реализация языка ЯД.

Слайд 12

"Разработка метаязыка для управления роботом на основе языка действий (ЯД)".

Многошаговое задание

"Разработка метаязыка для управления роботом на основе языка действий (ЯД)". Многошаговое задание
для робота формируется и задается из примитивов поведения для данного робота. Примитивы организованы в виде библиотеки, используемой для формирования заданий. Само задание представляет собой «граф». Задача составления задания на разраба-тываемом метаязыке ЯД полностью авто-матизирована, оператор работает в удобной среде. Реализуется механизм контроля корректного выполнения роботом задания.

Слайд 13

КРАТКОЕ РЕЗЮМЕ №1

В лаборатории «Робототехника» работают:
студенты, аспиранты, сотрудники и молодые

КРАТКОЕ РЕЗЮМЕ №1 В лаборатории «Робототехника» работают: студенты, аспиранты, сотрудники и молодые
преподаватели.
специалисты по архитектурам ВС, сетевым технологиям, обработке изображений, ОС, параллельному программированию, разработке микропроцессорных и ПЛИС-устройств, теории управления, методам искусственного интеллекта, по нейросетям, разработке мехатроники и т.п.

Слайд 14

Немного истории: человеко-машинный интерфейс

Естественные способы человеко-машинного взаимодействия - стремление к восприятию всё

Немного истории: человеко-машинный интерфейс Естественные способы человеко-машинного взаимодействия - стремление к восприятию
менее формализованных, всё более естественных для человека сигналов: от машинно-специфических кодов перфокарт и перфолент (средства формальных языковых систем) через клавиатуру (средства второй сигнальной системы) к мыши, чувствительным плоскостям и восприятию жестов и мимики (средства первой сигнальной системы).
Следующий этап - восприятие сигналов, не выражающихся внешне – электрических импульсов в нервной системе человека.
Подобные средства на данный момент существуют либо в виде лабораторных образцов, либо – в начальной стадии коммерческой эксплуатации.

Слайд 15

Немного о медицине

Медицина – ЭЭГ (открыт Г. Бергером в 1929 г. метод

Немного о медицине Медицина – ЭЭГ (открыт Г. Бергером в 1929 г.
электроэнцефалографии ) + томограмы – лечение………………..
Интерес к ЭЭГ и томограмам мозга связан с ещё одной причиной – попыткой использования этой информации об активности нервных клеток мозга для управления техническими устройствами.
Такого рода устройства, называемые интерфейсами "мозг-компьютер" (ИМК), или нейрокомпьютерными (мозго-машинными), интерфейсами (Brain-Computer Interface, BCI, Brain-Machine Interface, BMI), могут применяться в медицине, военной сфере, промышленности, а также являться основой коммуникационных систем нового поколения.

Слайд 16

Базовое определение

В системах BCI используются :
либо биопотенциалы мозга, зарегистрированные с поверхности

Базовое определение В системах BCI используются : либо биопотенциалы мозга, зарегистрированные с
скальпа, называются инвазивными. Основой инвазивных ИМК – электрокортикограмма (ЭКоГ) либо карты электрической активности отдельных глубинных нейронов.
либо биопотенциалы, зарегистрированные непосредственно с поверхности коры головного мозга или от отдельных нейронов глубинных структур мозга, называются неинвазивными. Основой неинвазивных BCI являются ЭЭГ, томограмма и пр.

Слайд 17

Пример

Первые попытки создания ИМК начались в 1980-х годах в Германии и США,

Пример Первые попытки создания ИМК начались в 1980-х годах в Германии и
чтобы помочь полностью парализованным людям (с так называемым locked-in синдромом) управлять инвалидным креслом и общаться. Есть описание система BCI, анализирующей сигналы ЭЭГ таких пациентов и относящая их к одному из двух классов, которые интерпретировались как ответы «да» или «нет».

Слайд 18

Инвазивные BCI

Наиболее известные разработки в области инвазивных ИМК принадлежат группам Николелиса и

Инвазивные BCI Наиболее известные разработки в области инвазивных ИМК принадлежат группам Николелиса
Чапина. Они сконструировали интерфейс, позволяющий одновременно регистрировать активность до 100 отдельных нейронов в лобных и теменных долях коры обезьяны и использовать эту активность для управления механической рукой.

Слайд 19

Динамика роста интереса к BCI в мире

Исследования в области BCI, которые ограничивались

Динамика роста интереса к BCI в мире Исследования в области BCI, которые
только тремя научными группами 20 лет назад и шестью-восемью группами в 1995 г., в настоящее время демонстрируют огромный рост интереса к этой проблеме.
Сейчас насчитывается более 100 групп по всему миру, занимающихся широким спектром исследований и регулярно публикующих свои достижения.

Слайд 20

Настоящее: человеко-компьютерный интерфейс

Мозго-машинные интерфейсы в США сейчас одна из самых актуальных и

Настоящее: человеко-компьютерный интерфейс Мозго-машинные интерфейсы в США сейчас одна из самых актуальных
продвигаемых тем. Интерфейсом мозг-компьютер занимается ряд университетов и коммерческих фирм, в частности, CSU (Colorado State University), Graz University of Technology, Cyberkinetics Neurotechnology Systems, IBM и другие.
В 2009 году специалистам японской компании Honda удалось создать систему управления роботом Asimo "силой мысли".
Исследования в области BCI являются междисциплинарными. Трудно найти в прикладной науке ещё такую область, которая объединяла бы специалистов из столь многих отраслей. Для построения систем BCI необходимо тесное сотрудничество специалистов различных областей: медицина, психология, нейробиология и «компьютерщики».

Слайд 21

США - DARPA

В августе 2008 г. начат совместный проект Ирвинского университета (Irvine

США - DARPA В августе 2008 г. начат совместный проект Ирвинского университета
University), Университета Карнеги-Меллон (CMU) и Университета Мериленда (Meryland university), финансируемый агентством DARPA (сумма $4 миллиона), направленный на разработку устройств синтетической телепатии (шлемы для передачи мысли). Шлем одевается на голову военного (128 электродов). Цель – достичь 2 результата: сделать возможным генерацию сообщения и направить его определенному реципиенту. По оценкам для реализации этого проекта потребуется 15 лет.

Слайд 22

КРАТКОЕ РЕЗЮМЕ №2

Интерес в мире к тематике BCI достаточно быстро растет.
Общий

КРАТКОЕ РЕЗЮМЕ №2 Интерес в мире к тематике BCI достаточно быстро растет.
прогресс результатов – не очень быстрый.
Проблема, по-видимому, должна решаться объединением усилий специалистов различных отраслей науки.

Слайд 23

«Система дистанционного управления роботом посредством нейроманипулятора»

Разработка прототипа системы.
Данная система позволила использовать

«Система дистанционного управления роботом посредством нейроманипулятора» Разработка прототипа системы. Данная система позволила
вместо привычного графического интер-фейса, манипулирующего кнопками мыши или клавиатуры, использовать мысленные образы оператора, который управляет роботом с помощью шлема, расположенного у него на голове, освобождая его руки для других видов работы.

Слайд 24

Дистанционное управление роботом

Состояние разработки: реализована и опробована идея системы управления, показана принципиальная

Дистанционное управление роботом Состояние разработки: реализована и опробована идея системы управления, показана
возможность реализации с имеющимися аппаратными средствами.

Существует начальный действующий прототип системы управления роботом Pioneer 2AT, которая основана на фиксации мысленных образов управления траекторией перемещения робота и их преобразование в управляющие команды для двигателей робота.

Слайд 26

Дистанционное управление роботом

Система позволяет взаимодействовать роботу с оператором в двух режимах:
обучения

Дистанционное управление роботом Система позволяет взаимодействовать роботу с оператором в двух режимах:
с подкреплением воздействиями стандартных средств ввода-вывода (например, клавиатуры);
непосредственно управления роботом с устройства.
Набор реализованных команд управления движением:
вперед,
стоп,
поворот направо,
поворот налево.

Слайд 27

Общие принципы

Алгоритмически система распознавания решена с применением распознающей одномодульной нейронной сети, архитектура

Общие принципы Алгоритмически система распознавания решена с применением распознающей одномодульной нейронной сети,
которой зависит от, заранее известного для данной поставленной задачи, количества выходных управляющих импульсов и количества сенсоров устройства ввода.
Безопасность мобильного робота в процессе обучения обеспечивается его локальными низкоуровневыми рефлексами.
Выходной контроль качества обучения производится путем выполнения оператором автоматически генерируемой последовательности управляющих команд с последующей оценкой корректности полученных результатов.
Работы авторского коллектива по данному направлению не завершены, но полученные на текущий момент результаты позволяют рассчитывать на построение полнофункциональной системы в приемлемые сроки.

Слайд 28

Некоторые факты

Преимущества разработки: позволяет управлять роботом без стационарного рабочего места оператора, гибко

Некоторые факты Преимущества разработки: позволяет управлять роботом без стационарного рабочего места оператора,
настраивать систему требуемым в конкретной ситуации образом, осуществлять обучение оператора по простой для понимания методике.
Работа выполняется при поддержке РФФИ (проект 10-07-00375-а).

Слайд 29

Публикации

I.V. Bogin, E.V.Chepin, V.V. Danilov, A.V. Dronskiy, A.A. Dyumin, P.S. Sorokoumov. Hardware

Публикации I.V. Bogin, E.V.Chepin, V.V. Danilov, A.V. Dronskiy, A.A. Dyumin, P.S. Sorokoumov.
and Software for the Heterogeneous Mobile Robotic System. CSIT’2009, Proc. of the 11th Int. Workshop on Comp. Science and Inf. Techn., Creete, Greece, Oct.5-8, 2009, vol. 1, pp.167-171.
A.A.Dyumin. Architecture of Reconfigurable Software for Mobile Robotic Systems. там же, pp.122-124.
Трофимов А.Г., Скругин В.И. СИСТЕМЫ НЕЙРОКОМПЬЮТЕРНОГО ИНТЕРФЕЙСА. ОБЗОР. ЖУРНАЛ "ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ" №2, 2011.
Данилов В.В., Дюмин А.А., Сорокоумов П.С., Чепин Е.В., Шаповалов Н.К. Программная система дистанционного управления роботом PATROLBOT. Научная сессия НИЯУ МИФИ. Выставка научно-технических работ "Наука и инновации НИЯУ МИФИ". Каталог. - М., МИФИ, 2010.
Данилов В.В., Дюмин А.А., Дронский А.В., Сорокоумов П.С., Чепин Е.В. Робототехнический аппаратно-программный комплекс AH3-R-MEPHI. Научная сессия НИЯУ МИФИ. Там же.
Дюмин А.А., Сорокоумов П.С., Чепин Е.В. Архитектура системы управления командой мобильных роботов. // Труды 54-й научной конференции МФТИ "Проблемы фундаментальных и прикладных естественных и технических наук в современном информационном обществе". Москва-Долгопрудный-Жуковский, МФТИ,2011. - С.26-28.
Калиниченко Д.М., Сорокоумов П.С., Чепин Е.В. Архитектура программной среды автоматического распараллеливания обработки сигналов и видеопотоков. // Там же. - С.30-31.
Зенько А.А., Сорокоумов П.С., Урванов Г.А. Архитектура системы операторского управления мобильным роботом посредством нейроманипулятора // Там же - С.36-37.
Дюмин А.А., Матюхин К.А., Сорокоумов П.С. Интегрированная среда разработки поведенческих моделей коллективов мобильных роботов // Там же - С.39-40.

Слайд 30

КРАТКОЕ РЕЗЮМЕ №3

Возможно сотрудничество:
В области целого ряда НИР/ОКР по робототехнике.
При проведении некоторых

КРАТКОЕ РЕЗЮМЕ №3 Возможно сотрудничество: В области целого ряда НИР/ОКР по робототехнике.
комплексных ОКР, например по тематике BCI, необходима технологическая поддержка и объединение со специалистами других областей науки.

Слайд 31

ИТОГ

Объект управления (датчики/сенсоры, исполнительные механизмы, модель управления) – КОНТРОЛЛЕР.
Связь/интерфейс между контроллером и

ИТОГ Объект управления (датчики/сенсоры, исполнительные механизмы, модель управления) – КОНТРОЛЛЕР. Связь/интерфейс между
управляющей ВС(человеком-оператором):
либо это традиционная аппаратно-программная база;
либо это BCI ( шлем/инвазивные источники, нейросеть/более традиционные подходы, психология/физиология/медицина, методика обучения и использования ).
Имя файла: Научно-исследовательский-Ядерный-Университет-МИФИФакультетская-лаборатория-«Робототехника».pptx
Количество просмотров: 190
Количество скачиваний: 0