Человек и робот – диалог и кооперативное управление

Содержание

Слайд 2

«Интелектуальный» автономный робот – это мобильное устройство для самостоятельного выполнения сложных операций

«Интелектуальный» автономный робот – это мобильное устройство для самостоятельного выполнения сложных операций
в недетерминированных условиях под контролем человека-оператора

2

«Интеллектуальный» робот обладает собственной информационно-сенсорной системой, позволяющей анализировать ситуацию.
Система знаний робота позволяет планировать действия и принимать решения в рамках задач, поставленных человеком и формировать запросы со стороны робота.
Функуционирование робота происходит во взаимодействии с человеком. Форма взаимодействия определяет тип эргатической робототехнической системы (ЭРТС) «человек-робот»

Слайд 3

ЭВОЛЮЦИЯ ВЗАИМООТНОШЕНИЙ ЧЕЛОВЕКА И РОБОТА

Копирующее управление
(master – slave)

Полуавтоматическое управление

Интерактивное управление

60-70-е г.г.

70-90-е г.г.

3

ЭВОЛЮЦИЯ ВЗАИМООТНОШЕНИЙ ЧЕЛОВЕКА И РОБОТА Копирующее управление (master – slave) Полуавтоматическое управление

Слайд 4

Возможные области применения:
Спасательные операции в экстремальных ситуациях (пожар, техногенные аварии и т.п.)
Борьба

Возможные области применения: Спасательные операции в экстремальных ситуациях (пожар, техногенные аварии и
с проявлениями терроризма, гражданское разминирование
Мониторинг окружающей среды и объектов технической инфраструктуры
Охрана помещений и территорий
Медицина – диагностика, хирургия и реабилитация
Работы в быту, сфера обслуживания

4

Слайд 5

Автономный робот для выполнения манипуляционных операций на местности под контролем человека («Богомол»

Автономный робот для выполнения манипуляционных операций на местности под контролем человека («Богомол»
ГосНИИФТП)

сенсоры

манипулятор

движитель

Оператор управляет движением шести гусениц робота, имеющих автономные приводы, с помощью двух 3-компонентных джойстиков

Пост оператора

5

Слайд 6

Внутрицеховой мобильный робот для безлюдного производства

Система отображения информации

Пульт управления

Оператор-диспетчер

6

Внутрицеховой мобильный робот для безлюдного производства Система отображения информации Пульт управления Оператор-диспетчер 6

Слайд 7

Медицинский робот для проведения хирургических операций

Манипуляторы
Рабочий инструмент
Сенсоры

Пост управления

Человек-оператор

7

Медицинский робот для проведения хирургических операций Манипуляторы Рабочий инструмент Сенсоры Пост управления Человек-оператор 7

Слайд 8

Эволюция ЭРТС приводит к созданию диалоговой системы управления с использованием речи для

Эволюция ЭРТС приводит к созданию диалоговой системы управления с использованием речи для
постановки задач и формирования запросов от робота к оператору

8

Слайд 9

Диалоговое управление «интеллектуальным» роботом

Человек-
оператор

Речевая команда

Интерпретатор

Робот

Планировщик
диалога

Сенсоры робота

Речевая обратная связь

Сенсорная обратная связь

9

По существу,

Диалоговое управление «интеллектуальным» роботом Человек- оператор Речевая команда Интерпретатор Робот Планировщик диалога
это система кооперативного управления с двумя взаимодействующими исполнителями

Слайд 10

Кооперативное управление - термин из теории многоагентных систем:
- Это организация взаимодействия между

Кооперативное управление - термин из теории многоагентных систем: - Это организация взаимодействия
агентами, необходимого для достижения общей цели при разделении между ними функций и обязанностей.
В данном случае агент – человек является ведущим, а агент (агенты) – роботы – ведомыми. Робот – ассистент оператора. Характер кооперации – директивный.
Цель ставится оператором, робот ставит подцели, приводящие к достижению главной цели. Оператор подтверждает, или корректирует решения робота. Робот обращается к оператору при наличии альтернативных решений, или при невозможности выполнить задачу
Робот сообщает оператору о возможных ошибках в предлагаемых задачах и решениях и выполняет их только после подтверждения оператором.
В современной теории многоагентных систем в качестве агентов рассматриваются роботы (артефакты). Дальнейшее развитие теории многоагентных систем предполагает совместное решение задач роботами и людьми.

10

Слайд 11

Примером многоагентной системы, включающей людей и роботов может быть система противопожарного назначения

11

Примером многоагентной системы, включающей людей и роботов может быть система противопожарного назначения 11

Слайд 12

Двухуровневая архитектура пожарной робототехнической системы управления

Оператор-координатор

Стратегический уровень управления

Тактический уровень управления

12

Двухуровневая архитектура пожарной робототехнической системы управления Оператор-координатор Стратегический уровень управления Тактический уровень управления 12

Слайд 13

Интерпретация цели, организация диалога

Обобщенная
оценка
ситуации

База знаний:
-внешний мир
-возможности системы
-элементарные операции
- типовые алгоритмы управления
-продукционные

Интерпретация цели, организация диалога Обобщенная оценка ситуации База знаний: -внешний мир -возможности
правила

Планирование операций

Интерпретация
показаний датчиков;
формирование
образа ситуации
по вычисляемым
признакам

Формирование команд управления

Система управления
исполнительными
устройствами

Исполнительные устройства

Внешний мир

Датчики внутренней информации

Датчики
внешней информации

Человек-оператор

Функциональная схема эргатической интеллектуальной робототехнической системы (ЭРИС)

Уровень целеуказания

Уровень планирования

Исполнтельный уровень


Master-operator

Assistant-operator

13

Слайд 14

Особенности организации диалогового управления ЭРИС

Информация об окружающем мире заранее неизвестна и в

Особенности организации диалогового управления ЭРИС Информация об окружающем мире заранее неизвестна и
процессе работы может быть получена с помощью бортовой информационно-сенсорной системы только приблизительно
Восприятие внешнего мира роботом должно быть согласовано с естественным восприятием мира оператором
Взаимодействие с оператором осуществляется на языке целеуказаний, близком к естественному
Система знаний робота и способы принятия решений должны быть согласована с системой знаний и способами мышления человека
Робот должен самостоятельно ориентироваться на местности и планировать свои действия в соответствии с задачей, поставленной оператором
Система управления должна обладать адаптивными свойствами по отношению к изменениям характеристик окружающей среды

14

Слайд 15

Задачи, рассматриваемые в теории эргатических робототехнических интеллектуальных систем (ЭРИС)

Построение модели внешнего мира

Задачи, рассматриваемые в теории эргатических робототехнических интеллектуальных систем (ЭРИС) Построение модели внешнего
с использованием естественных отношений в пространстве и во времени
Организация базы знаний об элементарных (рефлекторных) и когнитивных операциях с использованием системы продукционных правил, задаваемых человеком на основе собственного опыта
Описание сложного целенаправленного поведения робота, включающего планирование поведения самим роботом (деятельность ЭРИС) в диалоге с оператором
Формирование проблемно-ориентированного языка диалога человека и робота, близкого к естественному
Обучение робота «с учителем» в тех случаях, когда человек не может сформулировать правила поведения робота. «Самообучение» ЭРИС в условиях неопределенности
Организация системы распознавания речи и планирования диалога. Создание системы диалогового управления роботом
Диалог с роботом на естественном языке и включение роботов в гуманитарный социум

15

Слайд 16

Такая модель является интерпретацией внутренней модели внешнего мира человека-оператора, т.е.
«отображением составляющих

Такая модель является интерпретацией внутренней модели внешнего мира человека-оператора, т.е. «отображением составляющих
внешнего мира на совокупность нечетких психолингвистических шкал» (Аверкин А.Н., Тарасов В.Б., 1986)
Модель внешнего мира ЭРИС является открытой и развивается в процессе когнитивной деятельности робота, включающей:
Определение и уточнение целей операции в процессе диалога с оператором
Обработку сенсорной информации и создание образа ситуации
Формирование проблемно-ориентированной модели внешнего мира
Планирование поведения робота в диалоге с оператором
Обучение робота путем накопления и обработки знаний.

Модель внешнего мира робота целесообразно строить с использованием естественных отношений пространства и времени (Поспелов Д.А.,1989)

16

Построение модели внешнего мира

Слайд 17

Естественные пространственные отношения определяются путем
экспериментального анализа восприятия этих отношений человеком
Заметим, что

Естественные пространственные отношения определяются путем экспериментального анализа восприятия этих отношений человеком Заметим,
эксперименты подтверждают правило Миллера 7±2,
устанавливающие информационные ограничения восприятия человека

Шкала расстояний, оцениваемая экспертами
(Поспелов Д.А.,Литвинцева Л.В.,Кандрашина Е.Ю., 1989)

Экспериментальные функции принадлежности ЛП «расстояние»

17

Слайд 18

Лингвистическая переменная dj, j = 1,2,…,M -
«дистанция между объектами а и б»
j

Лингвистическая переменная dj, j = 1,2,…,M - «дистанция между объектами а и
= 6- «очень очень далеко», j = 5- «очень далеко», j = 4- «далеко», j= 3- «недалеко- неблизко», j = 2 «близко», j = 1«очень близко»,
j = 0- «вплотную»
(а1 dj а2) & (а1 di а3) & (j=i+1) - а2 дальше от а1, чем а3 от а1,
(а1 dj а2) & (а1 di а3) & (j=i-1) - а2 ближе к а1, чем а3
(а1 dj а2) & (а1 di а3) & (j > i+1) - а2 значительно дальше от а1, чем а3
Лингвистическая переменная fi, i=1,2,…N –
«направление от объекта а к объекту б»: f1 - впереди, f2- впереди слева, f3 - слева, f4 - сзади слева, f5 - сзади, f6- сзади справа, f7 - справа, f8 - впереди справа;
Отношения, описывающие нечеткое взаимное положение объекта а2 относительно объекта а1 на плоскости
(a1 f2a 2) – «а2 впереди слева», (a1 f8 a2) –«а2 – впереди и справа».
(a1 d4 a2)&(a1 f7 a2) = (a1 d4 f7 a2) - «а2 далеко, и справа от а1»
Аналогично могут быть описаны пространственные отношения и в трехмерном пространстве

Нечеткие экстенсиальные пространственные отношения
между объектами внешнего мира выражаются с помощью лингвистических переменных:

18

Слайд 19

Базовые отношения:
Унарные:
R1- Иметь горизонтальное положение
R2- Иметь вертикальное положение
Бинарные:
R3- соприкасаться, R6-быть на одной

Базовые отношения: Унарные: R1- Иметь горизонтальное положение R2- Иметь вертикальное положение Бинарные:
прямой, R9- иметь точку опоры,
R4- быть внутри, R5- быть вне, R7-быть на одной плоскости,
R8- быть в центре,,,…
Производные отношения:
⌐ R3- не соприкасаться,
R10 – стоять на а2: (а1 R2) &(а1 R9 а2)=(а1 R10 а2)
Составные отношения, описывающие нечеткое взаимное положение объекта а1 относительно объекта а3:
(a1 R10 а2) &(a1 d4 f7 a3) – «а1 стоит на а2 далеко справа от а3»
Временные отношения: быть одновременно, быть раньше, следовать за
Каузальные отношения
Псевдофизические логики

Нечеткие интенсиальные пространственные отношения
между объектами внешнего мира

19

Слайд 20

(а1,а2 и а2,а3 – равноудалены)

(а1 dj а2) & (а1 di а3) &

(а1,а2 и а2,а3 – равноудалены) (а1 dj а2) & (а1 di а3)
(j=i+1) -,
(а1 dj а2) & (а1 di а3) & (j=i-1)
(а1 dj а2) & (а1 di а3) & (j > i+1)

Аналогично для случаев:

Пример результата логического вывода:

20

Слайд 21

Семиотическая форма описания:
<(A1 R8 S)& (Ao d5 f7 A1)>
Ao – наблюдатель,R8 –

Семиотическая форма описания: Ao – наблюдатель,R8 – быть на поверхности, d5 –
быть на поверхности,
d5 – быть далеко, f7 - быть справа

Нечеткие пространственные отношения используются для формирования языка описания ситуаций

Лингвистическая форма описания
А1 стоит на поверхности S Далеко справа
Контролируемый Интенсиальное Экстенсиальное
объект отношение отношение

21

Ситуация эргатически наблюдаема, если оператор может по лингвистической информации, дополненной показаниями информационно-сенсорной системы составить адекватное представление о текущей ситуации.

Слайд 22

Описание ситуации оператором с помощью нечетких пространственных отношений, «нечеткая карта местности»

а6

а2

а5

а3

а4

а1




а7

1

1

Кирпичное

Описание ситуации оператором с помощью нечетких пространственных отношений, «нечеткая карта местности» а6
здание

Заводская труба

Одинокая сосна

Мобильный робот

2

«прямо, недалеко»

«слева, вдали»

«далеко слева»

Задание «нечеткого» описания местности позволяет прокладывать маршрут робота по наблюдаемым реперам

22

Слайд 23

Ситуационное управление мобильным роботом осуществляется по продукционным правилам в зависимости от текущей

Ситуационное управление мобильным роботом осуществляется по продукционным правилам в зависимости от текущей
ситуации в рабочей зоне

Если (а2 f1 a1)\/ (а2 f2 a1) \/ (а2 f3 a1) то «вперед»
Если (а2 f1 a1) \/ (а2 f4 a1) то «вперед направо»
Если (а3 f1 a1) \/ (а3 f2 a1) \/ (а3 f3 a1) то «вперед»
Если (а3 f4 a1) \/ (а2 f5 a1) то «назад»

Управление на ситуационном уровне может приводить к колебательным процессам и неустойчивости системы ввиду дискретности процесса. Необходимо дополнить управление на ситуационном уровне управлением на исполнительном уровне.

23

Слайд 24

Управление мобильным роботом на исполнительном уровне

Сигналы измерений и сигналы управления непрерывны, что

Управление мобильным роботом на исполнительном уровне Сигналы измерений и сигналы управления непрерывны,
позволяет обеспечить устойчивый процесс управления, приводящий к достижению цели

24

Слайд 25

Если дистанция малая и цель впереди, то двигаться медленно, прямо
Если дистанция малая

Если дистанция малая и цель впереди, то двигаться медленно, прямо Если дистанция
и цель впереди справа,то двигаться медленно и немного поворачивать направо
………….
Если дистанция большая и цель впереди, справа, то двигаться быстро и немного поворачивать направо
Если дистанция большая и цель справа, то двигаться медленно и быстро поворачивать направо
………………………

Примеры нечетких правил движения робота, задаваемых на исполнительном
уровне (вход – дистанция и ориентация, выход – линейная и угловая скорость).
Дефаззификация проводится, например, методом Мамдани.

Правила поведения робота формируются человеком исходя из собственного опыта

25

Слайд 26

К вопросу устойчивости на исполнительном уровне

Система теряет устойчивость за счет неудачного выбора

К вопросу устойчивости на исполнительном уровне Система теряет устойчивость за счет неудачного
функций принадлежности лингвистической переменной «ориентация»

робот

«ворота»

Разработаны способы автоматической настройки функций принадлежности по заданным требованиям к процессу (А.Пегат. Нечеткое моделирование и управление)

26

Слайд 27

Типовые (рефлекторные) движения мобильного робота на исполнительном уровне могут быть легко заданы

Типовые (рефлекторные) движения мобильного робота на исполнительном уровне могут быть легко заданы
системой правил-продукций с использованием лингвистических переменных дистанции и ориентации, например:

Подойти к объекту (и остановиться)
Двигаться параллельно (к стене, кромке тротуара,…)
Проехать «в ворота»
Объехать препятствие
Преследовать движущийся объект
и т.д.………………………………………..
Команда на выполнение движений задается оператором с использованием проблемно-ориентированного языка

27

Слайд 28

В случае манипуляционных операций диапазон выполняемых типовых операций существенно расширяется, что

В случае манипуляционных операций диапазон выполняемых типовых операций существенно расширяется, что позволяет
позволяет ввести термин: «деятельность» манипуляционных роботов

Под деятельностью роботов понимаются целенаправленные предметные действия робота во внешнем мире, выполняемые автономно с использованием текущей и априорной информации о внешнем мире
Цель деятельности устанавливается человеком, однако цели отдельных действий могут планироваться роботом автономно исходя из поставленной задачи
Деятельность – это активное взаимодействие агента с внешним миром, включая человека-оператора. Она включает когнитивную составляющую, т.е. когнитивные операции, направленные на получение информации. В том числе:
А) действия, направленные на получение информации, необходимой для решения поставленных задач. Модель мира при этом доопределяется в процессе работы с помощью сенсорных устройств робота.
Б) действия, направленную на интерпретацию сообщений оператора и получение необходимой информации путем диалога с оператором

28

Слайд 29

< имя операции >
< исходная ситуация >
< целевая

или Ситуационные: на объекте А не находится любой другой объект & требуемые
ситуация >
< предусловия >
< перенести объект А >
< А на Б > или < А справа, рядом от наблюдателя А0 >
< А стоит на поверхности S >
< предусловия
Ситуационные: на объекте А не находится любой другой объект
& требуемые для захвата объекта положение и ориентация схвата
манипулятора являются допустимыми
Технические: робот имеет захват, соответствующий типу
объекта и его размерам & вес объекта не превышает
грузоподъемности робота
Объектные: объект является твердым телом и может
выдержать без разрушения усилие развиваемое при захвате>
Фрейм элементарной манипуляционной операции задается на построенной выше модели внешнего мира и определяет синтаксис команд целеуказания

29

Слайд 30

Элементарные операции непосредственно выполняются роботом если выполнены предусловия. В противном случае формируется

Элементарные операции непосредственно выполняются роботом если выполнены предусловия. В противном случае формируется
запрос оператору. Примеры элементарных операций: «вставить А в В», «установить А на С», «захватить А», «переместить А в положение В», …
Сложная операция представляет собой цепь согласованных между собой элементарных операций: постусловия n-й операции являются предусловиями n+1-й операции
Планирование операций – это создание цепи согласованных
элементарных операций, приводящих к достижению цели
S1 S2 Sn
Планирование основано на методе разрешения противоречий (Магазов С.С.,2007)
.

O1

O2

On-1

30

Слайд 31

Механизм разрешения противоречий основан на сравнении наблюдаемой роботом ситуации и заданной

Механизм разрешения противоречий основан на сравнении наблюдаемой роботом ситуации и заданной оператором
оператором (или полученной в процессе логического вывода) Разрешение противоречий генерирует элементарные операции путем выполнения правил разрешения противоречий, содержащихся в базе знаний. Такой механизм аналогичен процессу принятия решения человеком

Примеры:
(1) Цель: объект a1 на поверхности S: (a1 R8 S). В действительности (по наблюдениям видео-системы)) объект a1 не находится на поверхности S : (a1 ⌐ R8 S). Разрешение противоречия - Операция: Переместить a1 на S.
.

(2) Цель: Вал a1 внутри втулки C: (a1 R2 C). По факту: (a1 ⌐ R2 C) Операция: Вставить a1 в C

(3) Целевое положение мобильного робота R по отношению к наблюдателю O есть (R d1 f1 O). Фактическое положение: (R d2 f2 O). Операция: Переместить R в положение (R d1 f1 O).

Такой способ задания операций может использоваться и для управления манипуляционным роботом, например:

31

Слайд 32

32

Последовательность элементарных операций, приводящих к достижению цели образует граф, позволяющий определить наиболее

32 Последовательность элементарных операций, приводящих к достижению цели образует граф, позволяющий определить наиболее короткую последовательность действий
короткую последовательность действий

Слайд 33

Граф-план сложной операции

33

Граф-план сложной операции 33

Слайд 34

Проблемно-ориентированный язык управления

ЕЯ - высказывания построены на части естественного языка, ограниченного предметной

Проблемно-ориентированный язык управления ЕЯ - высказывания построены на части естественного языка, ограниченного
областью
ЕЯ – высказывания используют нечеткую модель внешнего мира и имена операций

Структура ЕЯ - высказывания

Имя операции

Имя объекта

Обстоятельства

< Установить > < короб А > < на стол Б , без удара >

Описание внешнего мира, выполняемых в нем операций, правил согласования и правил разрешения противоречий образуют словарь и синтаксис проблемно-ориентированного языка взаимодействия человека с роботом

34

Слайд 35

Структура команды оператора и её анализ в базе знаний ЭРИС

35

«Переместить объект А»

Модель

Структура команды оператора и её анализ в базе знаний ЭРИС 35 «Переместить
внешнего мира

Запрос оператора

Когнитивные действия

оператор

Слайд 36

Синтаксический разбор команды

36

Синтаксический разбор команды 36

Слайд 37

Взаимодействие оператора с роботом на уровне планирования операций

Человек-
оператор

Интерпретатор
команд

Робот

База рабочих операций
Проверка предусловий

База

Взаимодействие оператора с роботом на уровне планирования операций Человек- оператор Интерпретатор команд
когнитивных операций

Текущие измерения

Запросы робота

Команды (постановка целей)

37

ЭРИС эргатически управляема, если для всех возможных команд оператора может быть найдено решение на уровне планирования и это решение может быть реализовано на исполнительном уровне

Слайд 38

Оператор не всегда может формализовать свои знания об управлении роботом в виде

Оператор не всегда может формализовать свои знания об управлении роботом в виде
продукционных правил.
В том числе:
Если навыки движений выработаны на сенсомоторном уровне
Если ситуация является новой и не встречалась ранее
Если управление роботом является слишком сложной операцией, требующей управления сразу несколькими параметрами системы
В этом случае необходимо «обучать» робот «навыкам движений», например, с помощью нейро-нечетких сетей.
Используется принцип «обучения с учителем». Оператор управляет роботом, используя выработанные навыки, данные о ситуации и соответствующих действиях записываются и используются в качестве обучающей выборки

38

Слайд 39

Задача обучения робота решается по принципу «обучение с учителем» с помощью гибридной

Задача обучения робота решается по принципу «обучение с учителем» с помощью гибридной
нечеткой нейросети АСНВ (адаптивная система нечеткого вывода) типа ANFIS (adaptive neuro-fuzzy intelligent system)

39

Слайд 40

Робот «Богомол» (Институт физико-технических проблем, Москва)

Оператор управляет движением шести гусениц робота, имеющих

Робот «Богомол» (Институт физико-технических проблем, Москва) Оператор управляет движением шести гусениц робота,
автономные приводы, с помощью двух 3-компонентных джойстиков

40

Слайд 41

Адаптивная система нечеткого вывода позволяет автоматически формализовать правила выполнения операции человеком в

Адаптивная система нечеткого вывода позволяет автоматически формализовать правила выполнения операции человеком в
типовых ситуациях

Learning – by the Error Back Propagation Method

41

Слайд 44

Распознавание ситуации с помощью кластеризации входных данных

44

Распознавание ситуации с помощью кластеризации входных данных 44

Слайд 46

Метод автономного адаптивного управления применяется в тех случаях, когда вообще отсутствует априорная

Метод автономного адаптивного управления применяется в тех случаях, когда вообще отсутствует априорная
информация об условиях работы ЭРИС («Обучение робота без учителя» -А.А.Жданов, М.В.Караваев ИСП – ИТМ и ВТ РАН)

Среда

Сенсоры

Исполнительные
устройства

Аппарат
эмоций

Блок распознавания
ситуаций

База знаний

Блок принятия
решений

Метод позволяет обучать робот в полностью автономном режиме, используя принцип «подкрепления» правильных решений

46

Слайд 47

Управляющая система

Подсистема ФРО

Память эмоциональных
оценок образов

Память эмоциональных
оценок состояния

Память распознанных
образов

Память выбранных

Управляющая система Подсистема ФРО Память эмоциональных оценок образов Память эмоциональных оценок состояния
действий

Память оценок
действий

Подсистема эмоций

Подсистема определения
времени принятия решений

Подсистема принятия
решений

Память
образов

Подсистема формирования
базы знаний

База знаний

47

Слайд 48

Компьютерная модель самообучающегося робота

«визуальный» датчик 1

«визуальный» датчик 2

«визуальный» датчик 3

Тактильный датчик 1

Тактильный

Компьютерная модель самообучающегося робота «визуальный» датчик 1 «визуальный» датчик 2 «визуальный» датчик
датчик 2

Тактильный датчик 3

Тактильный датчик 4

Цель:
при отсутствии препятствий двигаться вперед

Эмоции:
прикосновение к препятствию неприятно

Задача – обучение движению в пространстве с препятствиями без столкновений; научиться проезжать в ворота; научиться двигаться вдоль стены и т.п.

48

Слайд 49

Речевое управление роботом

49

Речевое управление роботом 49

Слайд 50

Функциональная схема речевого диалога человека и робота

Перечень функциональных модулей:
распознавание речи (получение символьного

Функциональная схема речевого диалога человека и робота Перечень функциональных модулей: распознавание речи
представления акустического сигнала)
понимание речи (распознавание запроса, планирование, ведение диалога)
синтез речи (речевой ответ)

Распознавание
речи

Речь

Распознавание
запроса

Планирование и
диалог

Запрос на ЕЯ

Запрос в формальном виде

Реплика на ЕЯ оператору

Синтез речи

Речевой ответ

50

Слайд 51

Методы распознавания речи

Варианты постановки задач:
- настройка на диктора;
количество слов;
изолированность произнесения;
шумовые условия.

Методы распознавания:
динамическое

Методы распознавания речи Варианты постановки задач: - настройка на диктора; количество слов;
искажение времени (ДП, АЛП);
скрытые марковские модели (гибридизируется: VQ, гауссовские смеси, NN)

Методы моделирования языка:
энграммы;
СММ, полученные из грамматик;
FST;
стохастические грамматики.

Векторы признаков и шумоподавление:
банки фильтров (адаптивная компенсация 2 мик., вычитание стац. спектра)
MFCC, гомоморфная фильтрация сигнала

51

Слайд 52

Осциллограмма речевого сигнала

Слово: восемнадцать

Осциллограмма

Предварительная фильтрация

52

Осциллограмма речевого сигнала Слово: восемнадцать Осциллограмма Предварительная фильтрация 52

Слайд 54

Динамическое искажение времени и АЛП

54

Динамическое искажение времени и АЛП 54

Слайд 55

Формирование вектора признаков звуков

/а/

/c/

/ц/

55

Формирование вектора признаков звуков /а/ /c/ /ц/ 55

Слайд 56

Кодирование

Код символа
S[i] есть 10100000 в двоичной системе или 160 в десятичной

56

Кодирование Код символа S[i] есть 10100000 в двоичной системе или 160 в десятичной 56

Слайд 57

Функциональная схема системы речевого диалогового управления

Оператор

Робот

Распознавание речи

Понимание речи

Управление диалогом

Управление роботом

Генерация ответа

Внешняя среда

57

Функциональная схема системы речевого диалогового управления Оператор Робот Распознавание речи Понимание речи

Слайд 58

Использование априорной информации о синтаксисе и структуре диалога

Причины ошибок распознавания речи:
- шум;
-

Использование априорной информации о синтаксисе и структуре диалога Причины ошибок распознавания речи:
речь других людей;
- внесловарные слова;
- повторы и пропуски слов в фразе;
- ошибки сегментации.
Качество распознавания речи:


- вероятность правильного распознавания

- вероятность правильного предсказания контекста

- функция полезности априорной информации

А где ?

58

Слайд 59

Анализ требований к распознаванию речи.

Требования к распознаванию речи применительно к управлению роботами

размер

Анализ требований к распознаванию речи. Требования к распознаванию речи применительно к управлению
словаря до 100 слов;
устойчивость к шумам;
большой динамический диапазон;
высокое качество распознавания;
дикторонезависимость;
быстрая настройка под оператора.

59

Слайд 60

Разработка речевого диалога. Модуль понимания речи

Оператор

Распознавание речи

Понимание речи

Выход:

Акустический сигнал

Гипотезы о словах

Запрос

Запрос –

Разработка речевого диалога. Модуль понимания речи Оператор Распознавание речи Понимание речи Выход:
семантически законченное сообщение роботу (информация, команда, вопрос). Единица диалога между оператором и РТС.
Задачи модуля понимания речи:
- определение типа запроса;
- выбор гипотез распознавания;
- заполнение фрейма запроса.
Примеры запросов :

1) <иди|едь> вперед <пройдешь мимо | дойдешь до| проедешь через> <_название объекта_>
2) <иди|едь> вперед до <начала|конца|середины> <_название объекта_>
3) <иди|едь> вперед до появления <_название объекта_> <слева|справа>
4) <иди|едь> вперед до поворота
5) поверни <налево|направо> <около|после|до> <_название объекта_>
6) <_название объекта_> <расположено|находится> <слева|справа|спереди|сзади>

60

Слайд 61

Сценарий диалога – совокупность состояний диалога (от начального до конечного) и переходов

Сценарий диалога – совокупность состояний диалога (от начального до конечного) и переходов
между ними.
Примеры сценариев:
Уточнение состава команды (задачи)
Уточнение описания состояния внешнего мира (ситуации)
Уточнение описания операции, или плана ее выполнения
Уточнение намерений оператора, или его психофизиологического состояния

Слайд 62

Задачи модуля управления диалогом:
- реакция на события диалога;
- интеграция событий от модуля

Задачи модуля управления диалогом: - реакция на события диалога; - интеграция событий
управления роботом ;
- отправка управляющих сигналов модулю управления роботом.

Разработка модуля управления диалогом с использованием сетей Петри

Применение модифицированных сетей Петри:

- вершина (процесс или состояние)

- вершина с фишкой

- переход по событию (запросу)

- переход без жесткого условия

- ингибиторная дуга по наличию фишки

- ингибиторная дуга по отсутствию фишки

- ждущий переход

вперед, назад

стоп

Процесс:
движение

Fun

- Функциональная подсеть

61

Слайд 63

Пример применения управляющей сети Петри для организации речевого диалога между оператором и

Пример применения управляющей сети Петри для организации речевого диалога между оператором и
роботом.

RecErr

ACT

OUT

RST

Функциональная подсеть обработки ошибок распознавания речи

ACT

+

~

есть
гипотеза

да

нет

RST

OUT

Гипотеза
надежна

Гипотеза сомнительна

Поддерживаемые сетью сценарии:
команды движения;
остановка;
начало сеанса;
запоминание оператора;
конец сеанса;
переспрос и подтверждение;
просьбы о помощи;
объяснение состояния.

Начало сеанса

RecErr

RecErr

RecErr

RecErr

RecErr

RecErr

Запрос запоминания оператора

Состояние: сеанс управления

Запрос: завершить сеанс

Запрос: объяснить состояние

Запрос: движение

Запрос: стоп

Событие: беспомощное положение

Процесс: запоминание оператора

Процесс: объяснение состояния

Процесс: движение

Состояние: беспомощное положение

Событие: разрешение ситуации

Событие: конец запоминания

62

Слайд 64

«Понимание» роботом команд человека
Восприятие и правильная интерпретация речевого сигнала, составляющего

«Понимание» роботом команд человека Восприятие и правильная интерпретация речевого сигнала, составляющего команду
команду (заполнение фрейма).Проверка корректности команды
Успешная формализация целевого состояния мира, определяемая командой и проверка корректности такого состояния
Представление целевого состояния в альтернативной форме, напр., в графической с тем,чтобы проверить адекватность представления робота и оператора (Павловский В.Е., Инст. Механики МГУ им. М.В.Ломоносова)
Проверка достижимости цели в рамках внутренней модели мира, существующей в системе знаний робота путем построения корректного плана достижения цели

63

Слайд 65

ЗАДАЧИ НА БЛИЖАЙШУЮ ПЕРСПЕКТИВУ
От управления роботами к диалогу. Диалоговое управление «интеллектуальными»

ЗАДАЧИ НА БЛИЖАЙШУЮ ПЕРСПЕКТИВУ От управления роботами к диалогу. Диалоговое управление «интеллектуальными»
роботами. Проблема взаимопонимания.
Обучение путем диалога и демонстрации. Разработка профессиональных и «естественных» языков диалога робота и человека
Управление коллективами роботов (многоагентное управление).Создание теории многоагентных систем, включающих роботов и людей
Автономное поведение и самообучение роботов в непредвиденных ситуациях. Комбинация предварительного обучения и самообучения
Мультимодальные информационно-сенсорные системы и комплексирование информации. «Образное мышление» роботов. Когнитивное поведение роботов.
Проблема понимания и взаимопонимания человека и робота – антропоцентрический подход к созданию интеллектуального уровня робота
«Эмоции» роботов и их использование при организации управления.
Психология человека и «психология» робота. Проблемы согласования.
Включение роботов в гуманитарный социум с общением на естественном языке. Персональные роботы.

64