О принципах построения обучаемой системы управления для интеллектуальных роботов на основе динамического ДСМ-метода

Содержание

Слайд 2

3 поколения роботов:
Программные. Жестко заданная программа (циклограмма).
Адаптивные. Возможность автоматически перепрограммироваться (адаптироваться) в

3 поколения роботов: Программные. Жестко заданная программа (циклограмма). Адаптивные. Возможность автоматически перепрограммироваться
зависимости от обстановки. Изначально задаются лишь основы программы действий.
Интеллектуальные. Задание вводится в общей форме, а сам робот обладает возможностью принимать решения или планировать свои действия в распознаваемой им неопределенной или сложной обстановке.

Робот – это машина с антропоморфным (человекоподобным) поведением, которая частично или полностью выполняет функции человека (иногда животного) при взаимодействии с окружающим миром

Слайд 3

Архитектура интеллектуальных роботов

Исполнительные органы
Датчики
Система управления
Модель мира
Система распознавания
Система планирования действий
Система выполнения действий
Система управления

Архитектура интеллектуальных роботов Исполнительные органы Датчики Система управления Модель мира Система распознавания
целями

Слайд 4

Роботы «Амур»

Созданы в Творческой научно-технической лаборатории Политехнического музея.
Целью проекта была

Роботы «Амур» Созданы в Творческой научно-технической лаборатории Политехнического музея. Целью проекта была
демонстрация некоторых простейших форм адаптивного поведения, в частности - принципов моделирования условно-рефлекторного поведения, на базе универсального мобильного миниробота. Робот представляет собой автономную тележку, имеющую на борту программируемый контроллер, набор различных датчиков, исполнительные механизмы (эффекторы), модули связи с управляющим компьютером. Робот построен по модульному принципу, что позволяет использовать его компоненты и для других разработок. Именно поэтому робот стал рассматриваться как универсальный полигон, на котором можно отрабатывать решение самых разнообразных управленческих, интеллектуальных и прочих интересных задач.

Адаптивный
Мобильный
Универсальный
Робот

http://railab.ru

Слайд 5

Задача – движение по полосе

Добрынин Д.А., Карпов В.Э.
Моделирование некоторых форм

Задача – движение по полосе Добрынин Д.А., Карпов В.Э. Моделирование некоторых форм
адаптивного поведения интеллектуальных роботов.// Информационные технологии и вычислительные системы, Москва, №2, 2006.

роботы АМУР

Слайд 6

Адаптивный классификатор

Типы классификаторов:
Распознающий автомат (на основе эволюционного моделирования)
размерность алфавита dim X

Адаптивный классификатор Типы классификаторов: Распознающий автомат (на основе эволюционного моделирования) размерность алфавита
= 2n
Динамический ДСМ-метод (работает в открытой среде с неизвестным заранее количеством примеров )

Слайд 7

ДСМ-метод автоматического порождения гипотез получил свое название в честь известного британского философа

ДСМ-метод автоматического порождения гипотез получил свое название в честь известного британского философа
и экономиста Джона Стюарта Милля. В 1843г. вышла его книга “A System of Logic Ratiocinative and Inductive”, в которой были изложены некоторые принципы индуктивной логики. Новый подход к индуктивной логике был сформулирован профессором В.К. Финном в начале 80-х гг. Первая публикация, в которой были изложены принципы ДСМ - метода, называлась «Базы данных с неполной информацией и новый метод автоматического порождения гипотез», Суздаль,1981г.
ДСМ-метод автоматического порождения гипотез является теорией автоматизированных рассуждений и способом представления знаний для решения задач прогнозирования в условиях неполноты информации.

ДСМ = Джон Стюарт Миль

Виктор Константинович Финн
основатель ДСМ метода

Слайд 8

Компоненты ДСМ системы

Истинностные значения {+,-,t,0}
{+} фактическая истина, {-} фактическая ложь,

Компоненты ДСМ системы Истинностные значения {+,-,t,0} {+} фактическая истина, {-} фактическая ложь,
{t} неопределенность, {0} противоречие
Позитивные и негативные примеры (родители)
пример – это сложный объект, состоящий из подобъектов
подобъект (часть объекта) В есть причина наличия (отсутствия) свойства А
Гипотезы о причинах
если объект С содержит некоторый подобъект В, то это причина наличия свойства А
Операции: вложение, пересечение, равенство над множествами
Обучающий алгоритм (учитель)
управляет роботом и порождает примеры из сигналов сенсоров и управления (динамическое порождение базы фактов)

Слайд 9

Представление объектов и гипотез

Состояние датчиков (2 бита)
ON = {01} OFF = {10}

Представление объектов и гипотез Состояние датчиков (2 бита) ON = {01} OFF
НЕ ВАЖНО = {00}

Слайд 10

Обучающий алгоритм 1
Используем датчик 4
: Simple1 ( -- ? ) Stop

Обучающий алгоритм 1 Используем датчик 4 : Simple1 ( -- ? )
Photo4 IF M_TurnLeft
ELSE M_TurnRight THEN
true ;

Слайд 11

Обучение для алгоритма 1

Примеры
_ _ _ _
11223344 FBLR
--------------
10101001 0010
10101010 0001
01011010 0001
01010101

Обучение для алгоритма 1 Примеры _ _ _ _ 11223344 FBLR --------------
0010
01010110 0001
10100101 0010
10010101 0010
10010110 0001
01101010 0001
01101001 0010
01011001 0010
--------------
11 (+)примеров

Минимальные гипотезы
_ _ _ _
11223344 FBLR
--------------
00000001 0010
00000010 0001
--------------
2 (+)гипотезы

Тестовый полигон

Слайд 12

На конференции САИТ-2005

На конференции САИТ-2005

Слайд 13

Свойства динамического ДСМ

Достаточность обучающих примеров. При наличии представительной выборки обучающих примеров оба

Свойства динамического ДСМ Достаточность обучающих примеров. При наличии представительной выборки обучающих примеров
метода дают хорошие результаты. Однако в условиях неполноты обучающего множества метод ЭМ дает более устойчивые результаты по сравнению с ДСМ. Это связано прежде всего с характером управления.
Непротиворечивость обучающей выборки. ДСМ, в отличие от ЭМ, не применим в условиях противоречий в обучающих примерах. Такая ситуация может возникать, когда учитель ошибается в оценке состояния датчиков. Ошибки такого типа необходимо отсеивать на этапе формирования обучающих примеров. В ЭМ подобная противоречивость не так критична, т.к. она приводит в худшем случае к неопределенности фенотипического поведения.
Эффективность обучения (скорость). Обучение в ЭМ – принципиально длительный процесс. Для устойчивого обучения методом эволюционного моделирования иногда требуются сотни тысяч тактов. В этом отношении ДСМ-метод обладает несомненным преимуществом - для обучения с помощью ДСМ метода достаточно получить несколько разных обучающих примеров. В экспериментах роботу достаточно было проехать один круг на реальном полигоне чтобы сформировались все необходимые гипотезы.

Слайд 14

Свойства динамического ДСМ

Динамическое обучение. Теоретически ЭМ может работать и в открытой среде

Свойства динамического ДСМ Динамическое обучение. Теоретически ЭМ может работать и в открытой
с неизвестным заранее количеством примеров, практически же это связано с большими вычислительными затратами. Динамический ДСМ метод позволяет эффективно работать с заранее неизвестным количеством примеров при сравнительно небольших вычислительных затратах.
Обучение с учителем. Все рассматриваемые алгоритмы обучения работают с «учителем», который фактически формирует для них представительную обучающую выборку. В качестве «учителя» в проводимых экспериментах выступал внешний алгоритм управления роботом. В принципе, учителем может быть и человек, при условии непротиворечивости выдаваемых им управляющих воздействий.
Требуемые ресурсы. При реализации практических алгоритмов встает проблема ограниченности вычислительных ресурсов автономного робота.Если моделирование эволюции требует весьма больших временных и емкостных затрат, то для работы ДСМ метода достаточно незначительных вычислительных ресурсов, что позволяет разместить программу обучения и управления непосредственно на роботе.

Слайд 15

Особенности реализации

небольшая размерность входов и выходов. Как показывает практика, для обучения требуется,

Особенности реализации небольшая размерность входов и выходов. Как показывает практика, для обучения
всего лишь три-пять входных сигналов и три-четыре выходных;
низкая стоимость системы, за счет использования дешевых 8-ми разрядных микроконтроллеров;
высокое быстродействие;
возможность обучения в изменяющейся рабочей среде;
малое время обучения, возможность учиться в реальном времени;
возможность получить гипотезы в явном виде для дальнейшего анализа. Это свойство ДСМ системы отличает ее от нейронных сетей, для которых невозможно в явном виде выделить причины проявления эффекта.

Слайд 16

Структура ДСМ-контроллера

Структура ДСМ-контроллера

Слайд 17

Особенности реализации ДСМ-контроллера

микроконтроллер ATMega128
память программ 128Кбайт
память данных 128Кбайт
Flash память 256Кбайт
тактовая частота 7.3728Мгц
связь с хостом USB 2.0
дополнительный COM

Особенности реализации ДСМ-контроллера микроконтроллер ATMega128 память программ 128Кбайт память данных 128Кбайт Flash
порт 230.4 Кбод
линий ввода/вывода 11/4

Слайд 18

Сравнение ДСМ-системы и системы нечеткого вывода

Сравнение ДСМ-системы и системы нечеткого вывода

Слайд 19

Результаты обучения

Примеры
_ _ _ _ _ _ _ _ _ _

Результаты обучения Примеры _ _ _ _ _ _ _ _ _
_ _ _
ddRRrrFFllLLbbRRrrFFllLLBB FBLR
-------------------------- ----
10101010011010101010011010 0010
10101010011010101001101010 0010
10101001101010101001101010 1000
10101001101010101001101010 0010
10101001101010100110101010 1000
10101001101010100110101001 0001
10101010011010101001101001 0001

Минимальные гипотезы
_ _ _ _ _ _ _ _ _ _ _ _ _
ddRRrrFFllLLbbRRrrFFllLLBB FBLR
-------------------------- ----
00101000000000000000000001 0001
00101000000000001000000010 0010
10101001101010000000100010 1000
-------------------------- ----
3 (+)гипотезы

Тестовый полигон

Слайд 20

Проблемы применения

Необходимость представления входных данных в виде дискретного множества.
Влияние разрядности входных

Проблемы применения Необходимость представления входных данных в виде дискретного множества. Влияние разрядности
данных на размерность объектов
если N=210, то требуется вектор из 1024 элементов множества
3. Экспоненциальное снижение быстродействия при увеличении разрядности данных.
4. Необходимо получать выходные сигналы в непрерывном виде (непрерывная система управления).

Слайд 21

Переход к «нечеткому ДСМ»

Идея использовать правила нечеткого вывода для ДСМ-метода принадлежит Анашакову

Переход к «нечеткому ДСМ» Идея использовать правила нечеткого вывода для ДСМ-метода принадлежит
О.М. :
Anshakov O, Gergely T. Cognitive Reasoning: A Formal Approach. Springer, 2010
Для перехода к нечетким правилам вывода в ДСМ-методе необходимо осуществить:
замену признаков объекта, которые представляют элементы множества, на элементы нечеткого множества;
переформулировать функции пересечения и вложения для действий над элементами нечеткого множества;
- определить тип целевых свойств и их интерпретацию.

Слайд 22

Представление объектов и гипотез
для нечеткого ДСМ-метода

Представление объектов и гипотез для нечеткого ДСМ-метода

Слайд 23

Операции для нечеткого ДСМ-метода

Операции для нечеткого ДСМ-метода

Слайд 24

Целевые свойства

атомарные целевые свойства {0, 1} «включить/выключить», «старт/стоп»
непрерывные целевые свойства [0.0,

Целевые свойства атомарные целевые свойства {0, 1} «включить/выключить», «старт/стоп» непрерывные целевые свойства
1.0] необходима операция дефазификации «повернуть на угол α»,
« задать скорость V»