Группа компаний «Генезис знаний», ИПУСС РАН и НПК «Разумные решения» Мультиагентные технологии для управления ресурсами в практи

Содержание
Введение
Вызовы экономики реального времени
Задача управления ресурсами в реальном времени
Мультиагентный подход к решению сложных задач управления ресурсами в реальном времени
Оценка выгоды перехода к реальному времени
Примеры промышленных внедрений первого поколения
Текущие проекты второго поколения
Преимущества подхода
Перспективы
Выводы

Немного истории
1990 г. – начало научного сотрудничества Самарских филиалов ИМАШ РАН и ФИАН с Открытым университетом (г. Лондон) в области мультиагентных систем
1991 – 1996 гг. – создание научно-производственной компании «АртЛог» для разработки и применения мультиагентных систем в образовании
1997 г. – создание научно-производственной компании «Генезис знаний» для разработки мультиагентных систем в сфере социальных сервисов е-Правительства для населения
2000 г. – создание на базе НПК «Генезис знаний» компании Magenta Technology (UK), получившей венчурное инвестирование со стороны Европейских фондов
2001 – 2008 гг. – создание в Magenta Technology (UK) промышленных мультиагентных систем на платформе первого поколения по управлению мобильными ресурсами: танкерами, грузовиками, такси, сдачей машин в аренду и ряда других
2009 г. – образование группы компаний «Генезис знаний» и создание научно-производственной компании «Разумные решения» (Smart Solutions) для решения задач управления ресурсами, и, совместно со СПИИРАН, и Rzevski Solution, развертывание работ по разработке отечественной платформы для построения мультиагентных систем для управления ресурсами в реальном времени
2009 - 2011 г. – первые отечественные проекты по созданию промышленных мультиагентных систем в интересах отечественного аэрокосмического комплекса, производственных и транспортных предприятий
2011 г. – создание НПК «Интеллектуальные платформы и системы» сотрудниками СПИИРАН и НПК «Разумные решения» (Сколково)
Начало работ по созданию второго поколения сетецентрических мультиагентных систем для решения сложных задач для предприятий национального масштаба

В офисе компании Magenta Technology (Самара)
Проф. Г.А.Ржевский (Открытый университет, Лондон) и проф. В.А.Виттих (ИПУСС РАН, Самара)
Рост численности сотрудников в 2000-2008
Введение: немного истории

Новые вызовы экономики реального времени
Растет сложность принятия решений по управлению бизнесом
Неопределенность: трудно предсказать изменения спроса и предложения
Событийность: часто случаются события, которые меняют планы
Ситуативность: решение надо принимать по ситуации
Многофакторность: много разных критериев, предпочтений и ограничений
Высокая связность: принятие одного решения вызывает изменение других
Индивидуальность: потребители требуют все более индивидуального подхода
Конфликты: все больше участников с противоречивыми интересами
Трудоемкость: слишком много опций, чтобы просчитать последствия
Усиливается динамика принятия решений в ходе управления
Требуется высокая оперативность для принятия решений
Идут постоянные изменения спроса и предложения
Сокращается время на ответ - решения принимаются под прессом времени
Необходимо постоянно балансировать между разными критериями
Надо непрерывно считать экономику вариантов и менять цены динамически
Нужны постоянные взаимодействия с клиентами и поставщиками …
Эти особенности требуют новых методов и средств для принятия решений в реальном времени

Иерархии больших программ
Последовательное выполнение операций
Инструкции сверху вниз
Централизованные решения
Управляются данными
Предсказуемость
Стабильность
Стремление уменьшать сложность
Тотальный контроль
Большие сети малых агентов
Параллельное выполнение операций
Переговоры
Распределённые решения
Управляются знаниями
Самоорганизация
Эволюция
Стремление наращивать сложность
Создание условий для развития
Классические системы
Мультиагентные системы
Одновременно активные программы (сопрограммы)
Мультиагентная технология
для управления ресурсами в реальном времени

Мультиагентный подход в военном деле

Развитие мультиагентного подхода
Начало в 1970-ые годы…
Объектно-ориентированное программирование, искусственный интеллект, параллельные вычисления, телекоммуникации
Традиционно базировались на логике (Wooldridge, etc)
Наш подход bio-inspired (Van Brussel, Paulo Letao, etc) но базирующийся на ключевых идеях:
Ilya Prigozhin in Physics (auto-catalytic reactions),
Marvin Minsky in Psychology (society of mind),
Artur Kestler in Biology (holonic systems)
Ключевые слова: self-organisation and evolution, synergy, non-linear thermodynamics, collective (emergent) intelligence
Первые применения: Internet e-commerce
Текущие применения: логистика, извлечение знаний, понимание текста и другие
Будущее: Web-Intelligence

Классификации агентов
Current Focus

Примеры МАС компаний
Weinestein Technologies – http://www.weinstein.com
NuTech – http://www.nutech.com
Living Systems – http://www.livingsystems.com
AgentBuilder - http:// www.agentbuilder.com
Quarterdeck - http:// arachnid.qdeck.com
GeneralMagic - http://www.genmagic.com
Intelligent Reasoning System
- http://members.home.net:80/marcush/IRS
BiosGroup – http: www.eurobios.com
LostWax – http://www.lostwax.com
Около 30 компаний на рынке.
Более 100 университетских проектов.

Постоянный поиск соответствий между конкурирующими и кооперирующими агентами потребностей и возможностей на виртуальном рынке системы позволяет строить решение любой сложной задачи как динамическую сеть связей,
гибко изменяемую в реальном времени.
Виртуальный рынок
D
S
D
S
D
S
D
S
S
S
S
D
S
S
D
D
S
D
D
D
S
Соответствие
потребности и
возможности
Агент
потребности
Агент
возможности
«Контракт»
Сети потребностей и возможностей для построения самоорганизующихся систем (ПВ-сети)

Метод сопряженных взаимодействий в ПВ сетях
Фиксируется множество сопряженных (в общем случае, неоднородных) элементов системы, каждый из которых обладает определенными ресурсами и потребностями в других ресурсах.
Описываются индивидуальные цели и критерии принятия решения элементами системы, а также их предпочтения и ограничения.
Определяются правила и протоколы (регламенты) сопряженных взаимодействий между элементами, позволяющие выявлять конфликты и находить компромиссы между элементами.
С помощью специальных инструментальных средств программирования разрабатывается программа моделирования сопряженных взаимодействий.
С помощью этой программы строится первоначальная ПВ-сеть, определяющая начальное распределение ресурсов.
Если состояние ресурсов или потребности в них изменяются с приходом новых событий, то ПВ-сеть перестраивается с целью разрешения конфликтов, причем только в той части, которая непосредственно связана с изменениями.
Решение задачи распределения ресурсов считается найденным, когда ни один элемент ПВ-сети не может улучшить свое состояние в сети.

Личность агента (Стратегии)
Жизненный цикл агента
Роль агента
Инициализировать процесс
Уничтожить процесс
Выполнить шаг роли и перейти к следующему состоянию
Ожидать событие от другого агента и перейти к следующему
Базовая часть
Предметная область
От Диспетчера агентов
Библиотека ролей агента
Ожидать событие, которое придет первым, и перейти к следующему
Диаграмма состояний
Отложенная роль с сохраненным контекстом данных
Очередь событий
Сенсоры
Исполнители
Конструкция агента в ПВ сетях

Онтологический подход
к описанию ситуаций
Онтология как модель предметной области
и сцена как модель проблемной ситуации

Основана на Java и Дот.нет
Масштабируемость
Надежность
Устойчивость
Конфиденциальность
Визуализация
Десктоп и Веб-интерфейс
Онтологии
Базовая
платформа
Мультиагентные
технологии
Основаны на семантическом Веб
Знания отделены от кода
Позволяют описать концепты и отношения
Дают возможность описывать ситуации
Дают возможность обучения системе
Базовые конструкции агентов
Система диспетчеризации агентов
Агенты формируют сети
В переговорах используются механизмы рынка
Управляемы событиями в реальном времени
Агенты проактивны
Мультиагентная платформа для управления ресурсами в реальном времени

Ontology
SDK
Domain Ontology
Basic
Generic
Scenes
Архитектура приложений

GPS данные
Спутник
Пункт отправки
Пункт назначения
Заказ 1
Заказ 2
Интернет-портал для приема заказов
Интеллектуальная система управления
Учетные системы
Заказы
Грузовик
События
К мобильному устройству водителя
Современная постановка задачи управления мобильными ресурсами в реальном времени
Имеется флотилия мобильных ресурсов, имеющих GPS / ГЛОНАСС датчики на борту;
В реальном времени поступают заказы и любые другие события (задержки, поломки и т.д.), которые необходимо планировать, учитывая текущие планы, индивидуальные предпочтения и ограничения заказов и ресурсов;
Изменения должны вноситься в планы ресурсов без останова и перезапуска системы, путем адаптивного изменения расписания «на лету» с использованием как свободных окон, так и подвижками и переброской ранее распределенных заказов;
Должен быть реализован полный цикл управления:
реакция на события,
динамическое планирование (перепланирование),
согласование и пересмотр планов «на лету»;
мониторинг и контроль исполнения планов.
Согласование планов должно осуществляться через сотовый телефон в ходе диалога с пользователями;
В случае расхождения плана и факта требуется автоматическое перепланирование и согласование с пользователем.

Основной цикл управления ресурсами
1 – Реакция на событие
5 – Мониторинг и контроль исполнения
8 – Обучение
из опыта
4 – Оптимизация (пока есть время)
7 – Перепланирование при план VS факт
6 – Согласование с пользователями
3 – Планиро-вание
2 – Распределение ресурсов

Интерактивное взаимодействие с пользователями
через мобильное устройство
Интернет биржа заказов
на междугородние перевозки
Мультиагентная система управления перевозками
Smart Truck
Другие системы
Сервер нашей СааС системы со своим мультиагентным миром для каждого грузовика
Интернет сайт водителя с поддержкой Гугл календаря поездок
Вход для рекламодателей
Водитель, менеджер или диспетчер
Предложения
Предпочтения

Модель мира агентов грузовика
Агент грузовика
Агент маршрута
Агент клиента
Агент заказа
Агент операции: загрузка
Агент операции: переезд 1 Москва – Нижний Новгород
Агент операции: разгрузка 1
Агент операции: разгрузка 2
Агент операции: переезд 2 Нижний Новгород - Самара
Агент расписания
Агент заправки
Агент кафе
Агент ТЭО
Агент водителя

Метод сопряженных взаимодействий с компенсациям
При появлении Заказа создается Агент заказа (далее Заказ)
Заказ делает предварительный отбор ресурсов
Заказ рассылает Запрос на Формирование предложений Агентам всех отобранных ресурсов
Свободные ресурсы отвечают, что перевозка прибыльная
Занятые ресурс, который может прибыльно выполнить перевозку, обращается к Заказу, который его забронировал ранее, с просьбой попробовать найти себе новое размещение
Ранее забронированный заказ ищет новое размещение даже с ухудшением позиции, но ограниченным прибылью нового Заказа, возможно, вытесняя другие заказы
Таким образом, конечное решение принимается, если сумма всех ухудшений меньше, чем сумма всех улучшений

Логика мультиагентного планирования
Грузовик 1
08:00
16:00
12.00
20:00
Время
Есть начальное расписание
Поступает новый заказ
Предварительный просмотр
Новый заказ «будит» агента Грузовика 3 и начинает с ним переговоры
Грузовик 3 оценивает возможность принятия заказа
Грузовик 3 «будит» агента Заказа 3 и просит его сдвинуться влево
Заказ 3 анализирует ситуацию и отказывается
Грузовик 3 просит новый заказ сдвинуться вправо
Новый заказ отказывается
Грузовик 3 решает отказаться от Заказа 3 и взять новый заказ
Заказ 3 начинает переговоры о новом перевозчике и затем размещается на Грузовике 1 путем сдвига Заказа 1
Грузовик 2
Грузовик 3
Не могу сдвинуться
Сдвинешься вправо?
Нет

Заказ 1
Заказ 4
Заказ 2
Заказ 3
Шаг 1
Заказ 1
Заказ 4
Заказ 2
Заказ 3
Шаг 2
D 1
D 2
Шаг 1 и 2. Проведение переговоров при поступлении нового заказа: Заказ 4 меняет свое положение и смещается влево
Пример хода переговоров по подвижкам (1/3)
Приходит Заказ4, который обнаруживает конфликт с заказом 2
Заказ4 уходит влево, выбирая все свободное время , не требующей разбора конфликта

Шаг 3. Дальнейшие переговоры: в результате Заказ 2 смещается вправо и наталкивается на Заказ 3, который не может уйти вправо
Пример хода переговоров по подвижкам (2/3)
Заказ4 определяет зону перекрытия с Заказом 2 (Дельта 2)
Заказ 2 соглашается подвинуться вправо, но наталкивается на ограничения Заказа 3, который не может сдвигаться вправо

Заказ 1
Заказ 4
Заказ 2
Заказ 3
Шаг 4
D3
Шаг 5
Заказ 1
Заказ 4
Заказ 2
Заказ 3
Шаги 4 и 5. Достижение итогового решения: в результате переговоров: Заказ 4 раздвинул Заказ 2 и Заказ 1 вправо и влево соответственно!
Пример хода переговоров по подвижкам (3/3)
Волна переговоров отражается от Заказа 3 и возвращается к Заказу 1
Заказ 1 соглашается подвинуться на Дельта 3 влево – конфликт исчерпан и Заказ 4 успешно размещается в расписании грузовика

Модели организации перевозок
Модель «С возвращением на базу».
Для заказа бронируется грузовик, в расписании которого на момент заказа есть “окно”. Если погрузка осуществляется в другом городе, то грузовик должен прибыть туда ко времени погрузки. Отмена бронирования грузовика под заказ не допускается. После выполнения заказа грузовик возвращается в пункт базирования.
Модель «Без возвращения».
После выполнения заказа грузовик остается в конечном пункте заказа, не возвращаясь на базу, где ожидает следующий заказ.
Модель «Опоздания со штрафами».
Допускается планирование заказов с опозданиями, т.е. когда фактический момент начала заказа позже требуемого в заказе. При этом из прибыли вычитаются штрафы, пропорционально времени опоздания. Если величина штрафа превышает возможную прибыль от выполнения заказа, то такой заказ не планируется. После выполнения заказа грузовик остается в пункте назначения.
Модель «Адаптивное планирование со штрафами».
Совпадает с предыдущей, однако допускается адаптивное перебронирование грузовика под новый заказ в случае, если прибыль от нового заказа превышает прибыль от прежде запланированного. Таким образом, при поступлении заказа осуществляется перераспределение уже размещенных заказов и ищется новое, более выгодное по прибыли решение.
Задача оценки прибыли от перехода к принятию решений в реальном времени

Пример из 4 городов и 5 заказов
Выполнение адаптивного плана одним грузовиком: Красно-желтым (сначала белые) показаны отсроченные заказы (2 и 4), которые выполняются со штрафами.
Серым закрашены заказы (1 и 3), выполняющиеся без опоздания.
Сдвиги показаны прямыми стрелками.
Заказ 5 не успеваем выполнить по времени.

Движение грузовика
Сначала грузовик выезжает из города 1 в город 4.
Затем выполняет заказ №1 из города 4 в 1 без опоздания.
Потом перемещается в город 3 для выполнения заказа №2.
Выполняет с опозданием заказ №2.
После этого он из города 1 выполняет заказ №3 в город 4 без опоздания.
Затем с опозданием выполняет заказ №4.
Заказ №5 остается не выполненным, поскольку выходит за горизонт (=10)

Планирование 100 заказов
В экспериментах рассматривалась задача планирования 100 заказов на 10 одинаковых грузовиках. Заказы генерировались с равномерным распределением даты поступления и равномерным распределением по городам. Дата начала также равномерна, но в интервале от времени поступления до горизонта планирования. Поэтому концентрация заказов возрастает к концу интервала моделирования. Грузовики первоначально располагаются в одном городе. Заказы равномерно распределены по 18 городам. Расстояния между городами от 1 до 6. Горизонт планирования равен 100.

Расчетные оценки эффективности грузоперевозок за счет адаптивности
Исследовались модели с разной степенью адаптивности: с возвратом на базу (1), без возврата на базу (2), штрафы за опоздания (3), адаптивная смена заказов по ходу выполнения работ (4).
На графиках показан пример роста прибыли отдельного грузовика в разных моделях – прирост достигает 20-40% в среднем (но может быть и «в разы» больше).
График роста прибыли случайно выбранного грузовика

Оценка роста прибыли компании при переходе к реальному времени
Суммарная прибыль компании в каждой стратегии равна сумме прибылей каждого грузовика. Максимальная прибыль достигается в адаптивной стратегии с перепланированием и штрафами. Модель 2 по прибыли превосходит втрое модель 1, модель 3 даёт примерно на 25% больше, чем 2-я, и 4-я превосходит 3-ю ещё на 25%

Оценка возможности сокращения числа грузовиков за счет перехода к реальному времени
Разработанная МАС позволяет исследовать для каждого конкретного расписания заказов зависимость прибыли от числа грузовиков. Для упрощения постоянные затраты положены равными нулю. Для данного расписания в 100 заказов были промоделированы расписания грузовиков и прибыль в моделях 1-4. Количество грузовиков изменялось в диапазоне 0-50.
Прибыль вычисляется нарастающим итогом.
Наилучшей является модель планирования 4. Она даёт примерно на 20% большую прибыль, чем моделях 2 и 3. При выполнении плана она позволяет обойтись меньшим количеством грузовиков.
Это объясняется наличием адаптивного улучшения текущего расписания каждого грузовика в результате взаимодействия агентов.

Примеры промышленных применений
Другие применения

Первые промышленные проекты в транспортной логистике 2000-2008
Мультиагентная система для управления танкерами для компании Tankers International (UK);
Мультиагентная система для управления грузовиками для компании GIST (UK);
Мультиагентная система для управления такси для компании Addison Lee (UK);
Мультиагентная система для управления сдачи машин в аренду для компании Avis (UK);
Мультиагентная ситсема для управления курьерами CitySprint (UK)

Отечественные проекты 2009-2011
Аэрокосмический комплекс
РКК «Энергия»:
Динамическое планирование программы полетов и грузопотока МКС
Управление нештатными и аварийными ситуациями
РосКосмос - Космодром «Байконур»: Динамическое планирование программы стартов ракет (СПИИРАН)
Airbus/Университет г. Кёльна, Германии: моделирование процессов управления наземными сервисами аэропорта на основе RFID-чипов
РФФИ: Коллективное управление роем спутников
Машиностроение
ЦСКБ-Прогресс, Тяжмаш, Ижевский мотозавод: Внутрицеховое планирование станков и рабочих в реальном времени
Транспорт
ИПУ РАН, ТЭК «РусГлобал» и «Пролоджикс», EI Tech (USA): Динамическое планирование грузовых перевозок на основе GPS навигации
РЖД
Минобрнауки России: Динамическое управление грузовыми РЖД перевозками
НИИАС: Сетецентрическая платформа для управления ресурсами РЖД
РФФИ: Высокоскоростной интеллектуальный пассажирский транспорт

Примеры промышленных применений
Мультиагентная система управления грузовиками Smart Truck

Параметры транспортной сети:
4500 заказов в день
Сложная структура заказов
Множество возможных консолидаций заказов
Малое число заказов, дающих полную загрузку
Малое число заказов, от которых можно отказаться
Важность заказов требует комплексного планирования – цена ошибки велика
600 мест назначения
Множество мелких заказов
3 перевалочные базы
9 пунктов обмена прицепов
140 собственных грузовиков различного типа
20 привлеченных транспортных средств
Графики доступности привлеченного транспорта
Различные схемы оплаты
Ключевая проблема: планирование в реальном времени в сложной транспортной сети с динамичес-кой маршрутизацией грузов
Проблемы, требующие решения:
Окна доступности пунктов назначения
Обратные загрузки
Консолидация
Вместимость грузовиков
Множество ограничений
Непрерывный режим планирования
Динамическая маршрутизация
Перевалки грузов
Смена водителей
Пример внедрения в GIST

Интерфейс пользователя мультиагентной системы управления грузовиками

Основные преимущества (До/После)
ДО ВНЕДРЕНИЯ
ПОСЛЕ ВНЕДРЕНИЯ
Планирование дня 1 на день 3:
нет обратных загрузок и консолидаций
заказов в реальном времени
Планирование дня 1 на день 2, а также
дня 1 на день 1
Два диспетчера работают целый день
для планирования 200 грузов
Отсутствие ПО для планирования
обслуживания 4000 заказов -
(ручное планирование)
Трудность быстрого рассмотрения
вариантов с разных точек зрения
Трудность передачи знаний,
скрытых в умах экспертов
8 минут для планирования 200
грузов
4 часа на планирование обслуживания
4000 заказов и секунды на добавление
и обработку нового заказа
Выбор приемлемого варианта с
учетом многих критериев
Накапливает знания в онтологии.
Легкость добавления новых знаний

Примеры промышленных применений
Мультиагентная система управления такси
Smart Taxi

Пример внедрения в Addison Lee
Компания «Аддисон Ли» оснащена современной ERP системой и CALL центром, объединяющем более чем 130 операторов, получающих и обрабатывающих заказы одновременно
Весьма большой флот в более чем 2,000 бортов (каждый оснащен системой GPS навигации).
В любой момент около 700 водителей работают одновременно, конкурируя и борясь за заказы.
Более 13 000 заказов в день; поток заказов периодически превышает уровень в 1500 заказов в час; время поступления заказа и место назначения непредсказуемо
До 18% заказов с введением адаптивного планировщика поступают через Интернет сайт компании
Компания гарантирует прибытие борта к клиенту в центре Лондона в течение 15 минут с момента размещения заказа
Водители Freelance арендуют машину у компании и работают в удобное им время, которое в разные дни может быть разным
Разнообразие типов клиентов (частные лица, корпоративные, VIP, с различными тарифами с специальными требованиями к водителям и бортам (кресла для детей, места для инвалидов, перевозка домашних животных, …)
Учитывается множество параметров заказа: места посадки и высадки, срочные и предварительные заказы, разные виды сервиса, важность (приоритет от 0 до 100 в зависимости от заказчика), специальные требования (детское кресло им т.п.)
Разные транспортные средства: «минивэны» и «кэбы», некоторые со специальным оборудованием

Экран бронирования машины

Экран мониторинга выполнения заказа

Экран планирования машин

Итоги внедрения в Addison Lee
В первые 3 месяца после внедрения были получены результаты:
Количество обработанных заказов увеличилось на 7% при том же флоте
Автоматически стали планироваться 98,5% всех заказов;
Количество потерь заказов сократилось на 2% до 3,5%;
Пустой пробег сократился на 22,5%;
Улучшилась использование ресурсов: в среднем каждый борт стал выполнять по два дополнительных заказа каждую неделю за то же время и с теми же затратами топлива;
Прибыльность возросла на 4,8%, при этом доходы водителей выросли на 9%, а также появилась возможность расширить флот;
Время реакции на срочный заказ (от заказа до прибытия борта) теперь 9 минут (лучшее время в Лондоне).
Полная окупаемость проекта - около 6 месяцев от внедрения в штатную эксплуатацию
Сюжет о данном проекте показан Первым каналом в программе «Время» о необходимости скорейшего внедрения ГЛОНАСС с показом интервью Российских сотрудников Мадженты в офисе Аддисон Ли в Лондоне в 2008 году
Компания Аддисон Ли выдвинула разработанное решение на Национальную премия «Оскар в бизнесе» в 2008 году и победила!

Примеры промышленных применений
Мультиагентная система управления программой полетов и грузопотока МКС Smart AeroSpace

Проблемы планирования грузопотока для МКС
Десятки стартов, тысячи наименований грузов, сотни различных событий…
Задержка изготовления корабля или старта в США (из-за плохих погодных условий) приводит к сдвигам полетов в расписании российского сегмента, пересчетам дат стартов, составу грузов, что, в свою очередь, влечет увеличение расхода топлива на ракетах-носителях и т.д.
Необходимо организовать постоянный процесс переговоров между модулями, каждый из которых контролирует определенные подсистемы (программу полета, грузопоток, баллистику, расчет времени экипажа и т.д.)
В процессе планирования необходимо разрешать конфликты и находить компромиссы: доставить груз с высшим приоритетом, но загрузить меньше воды; перелить больше топлива, но задержать отстыковку; использовать все полезное пространство транспортного корабля, но это может привести к избытку грузов на МКС, что учитывается в размещении и т.д.
Связи и отношения между всеми элементами системы должны учитываться в процессе автоматического планирования (грузы, транспортные средства, доставка топлива и воды, ограничения на стыковки и расстыковки)
Необходимо разработать 8 главных АРМ для диспетчеров (проектантов) и распределенную сеть АРМ поставщиков (кураторов)
В будущем возможно включение и всех модулей управления ресурсами для МКС в одну систему

Постановка задачи
Требуется составить расписание полетов космических кораблей к МКС, а также составить план загрузки кораблей необходимыми грузами (грузопоток), обеспечивающими:
Жизнеобеспечение космонавтов;
Функционирование и работоспособность станции;
Проведение научных безопасность экспериментов;
Эффективность и полетов и работы станции.
Имеются исходные данные о следующих объектах:
Международной космической станции (МКС), включая текущую конфигурацию портов на МКС,
Космических кораблей и предварительной программе полетов (количество космических кораблей каждого типа, даты готовности кораблей, предпочтительные типы портов для стыковки кораблей,
Данные о космических телах (баллистические данные),
Желаемые условия и ограничения для построения программы полетов (интервал между стартами, количество одновременно пристыкованных кораблей, допустимые варианты конфигурации станции, готовность кораблей к старту, баллистические данные),
Грузах, которые необходимо доставить на МКС (наименование и количество, тип, масса, приоритет, срок доставки, тип корабля для доставки)
На основании программы полетов и грузопотока необходимо рассчитать расходы и баланс топлива, воды, продуктов питания, а также составить планы размещения грузов на МКС, утилизации и возврата грузов с МКС.
Построенные планы должны учитывать возможность прихода новых непредвиденных внешних событий (задержка или отмена полета, невозможность подготовить или доставить тот или иной груз) и иметь возможность адаптироваться к этим событиям.
Критерием успешного построения программы полетов и грузопотока является допустимый корректный план доставки всех требуемых грузов на МКС с учетом заданных ограничений.

Пример мультиагентного подхода при планировании грузопотока (2/2)
При увеличении зеленого груза он не может вытеснить желтый груз как более приоритетный. Однако есть возможность вытеснить голубой и розовый грузы с Прогресса 1 на Прогресс 2 как менее приоритетные. Далее получаем перегрузку на Прогрессе 2, что приводит к перепланированию части розового груза (как наименее приоритетного) с Прогресса 2 на Прогресс 3.
Результат: компромисс найден. Все агенты грузов удовлетворены – удалось разместить все требуемые грузы. Агенты полетов также удовлетворены, поскольку максимально возможная масса груза не превышена
Альтернативы: зеленый груз мог вытеснить также любой другой менее приоритетный груз – в общем случаев решений такой задачи множество, но есть приоритеты. Приемлемым решением является размещение удовлетворение всех условий задачи (размещение грузов) в соответствии с ограничениями и правилами (грузоподъемность прогрессов, приоритет грузов)

Список событий, вызывающих изменения плана
Добавление груза в поблочный грузопоток;
Удаление груза из грузопотока;
Изменение количества груза:
Увеличение количества сухого груза;
Уменьшение количества сухого груза;
Увеличение количества жидкости;
Уменьшение количества жидкости;
Изменение массы груза на полете;
Изменение приоритета груза на полете;
Изменение предпочитаемого типа корабля в онтологии грузопотока;
Изменение предпочитаемого диапазона дат для планирования груза;
Фиксирование груза на полете;
Доукомплектация полета сухими грузами;
Разукомплектация полета;
Изменение программы полета:
Удаление полета;
Изменение полета;
Добавление полета.

Онтология МКС
Подход к построению МАС цеха
Перечисление типов грузов (с указанием позиции в иерархии систем)
Предпочтительные транспортные средства для разных грузов
Нормы расходов для грузов
Сроки хранения и использования грузов
Другая информация, необходимая для планирования ГП

Интерактивный редактор программы полетов
Подход к построению МАС цеха

Редактор грузопотока

Расчет топлива
Подход к построению МАС цеха

Планирование утилизации отходов
Подход к построению МАС цеха

Баланс воды на МКС
Подход к построению МАС цеха

Результаты проекта
На сегодняшний день мультиагентная система планирования разработана, внедрена и находится в штатной эксплуатации в РКК «Энергия».
На текущий момент в системе работают модули: редакторы программы полета, грузопотока, утилизации отходов, возврата грузов, размещения грузов на МКС, расчета ресурсов (воды, топлива, рационов питания), редактор онтологий.
Система обеспечивает одновременную и согласованную работу 8 специалистов-проектантов, а также 10 (на сегодняшний день) кураторов, работающих удаленно.
В системе идет работа с десятками различными программами полета и грузопотоками, каждый в несколько сотен наименований грузов.
Параллельно с полноценной работой с грузопотоком на 2011 год, конструируется и планируется грузопоток на 2012 год.
Основные результаты:
Снижение сложности и трудоемкости расчетов и согласований грузопотока;
Повышение гибкости и оперативности в принятии решений;
Впервые появилась реальная возможность просчитать варианты на случай аварийных ситуаций, как например с кораблем Прогресс 412 в конце августа 2011г;
Меньше зависимости от человеческого фактора, включая ошибки и т.д.
До конца года планируется увеличить число кураторов, одновременно работающих с системой, до 50 человек.

Примеры промышленных применений
Интеллектуальная система управления цехом машиностроительного предприятия
Smart Factory

Проблемы управления современным производством
Поддержка высокой сложности производства
Необходимость принятия решений в реальном времени
Наличие конфликтных интересов между различными участниками
Индивидуальный подход к каждому заказу и ресурсу
Поддержка постоянных инноваций и изменений
Необходимость адаптивной обработки событий в реальном времени, например: приход нового важного заказа, отмена уже принятого заказа, поломка оборудования, задержка поставки материалов, незапланированный отпуск ключевого сотрудника и другие
Ориентация на мелкосерийное производство
Разнообразие изделий, станков и квалификаций рабочих
Необходимость контроля изменений плана
Необходимость ручной доводки производственных планов
Сочетание стадий планирования и исполнения плана
Необходимость экономного использования ресурсов и высокого уровня сервиса
Оперативный контроль технологии и планов производства

Event 2:
New operation
Event 3:
New operation
Event 2:
New operation
Operation1.2a
Operation1.2b
Operation1.2a
Operation1.2b
Operation3.3
Operation1.1
Operation1.1
Operation3.3
New operation
New operation
Operation1.2
Operation 2.1
Operation2.2
Operation2.3
Operation2.4
Operation2.5
Operation2.4
Operation1.3
Operation1.4
Operation3.1
Operation3.2
Operation3.4
Operation3.5
Operation3.2
Operation3.4
New operation
New operation
Conflict is resolved
Operation1.2
All connections are reestablished
All operations are successfully reallocated
Conflict between operations 2.4 and 3.4 occurs
Conflict between operations 3.3 and 3.4 occurs
New operation arrives
Conflict is resolved
All connections are reestablished
New operation finds appropriate place
In order to resolve the conflict Operation 3.2 is allocated to another
Conflict between operations 1.1 and 3.2 occurs
Operation 1.2b is left as it is while Operation 1.2a is reallocated
Conflict between operations 1.1. and 1.2a occurs
Operation 1.2 is divided into operations 1.2a and 1.2b
Conflict between Operation 1.1 and Operation 1.2 occurs
New operation comes into the system
Event 1:
Initial data
Event 3:
New operation
Логика планирования

Примеры экранов управления цехом

Адаптивный план работ рабочих цеха

Адаптивный план каждого рабочего

Текущие результаты
Система начала работать в феврале 2011 и перераспределять ресурсы
Введены 140 рабочих и мест оборудования с новым оборудованием для инструментального цеха
Каждый день от 30 до 300 заказов приходит, каждый из 5 до 25 операций
В целом 25 пользователей вводят информацию, планируют и подтверждают операции, делают отчеты и т.д.
На момент 90% тех операций введены и используются в планировании
В первые 3 месяца система показала что не менее 17 % работ имеют завышенную трудоемкость или некорректные исходные данные
Полная прозрачность позволяет теперь формировать более обоснованно зарплаты и премии
Примерно 50% всех заказов считаются автоматически
Диспетчеры получили больше времени для улучшения решений
Сократилось время для обучения диспетчеров

Примеры промышленных применений
Мультиагентная система управления аварийными бригадами Smart Field Service

Управление мобильными бригадами газовиков
в реальном времени
Высокая нагрузка на диспетчеров, несущих груз ответственности
Сложность распределения большого количества заявок при ограниченных ресурсах и под прессом времени
Необходимость оперативно, гибко и эффективно реагировать в условиях неопределенности и быстро изменяющейся ситуации
Низкая эффективность работы мобильных бригад из-за неоптимального распределения ресурсов по заявкам, как результат задержки, высокий холостой пробег, простои или дефицит квалифицированных и оснащенных бригад
Необходимость индивидуального подхода к каждой поступившей заявке и ресурсу
Недостаточная скоординированность работы бригады и диспетчера
Человеческий фактор как причина ошибок и недоразумений

Функции системы
Ведение справочников бригад и смен
База знаний для формализации и накопления особенностей заказов и ресурсов
Интеллектуальная поддержка принятия решения диспетчера в выборе ресурсов для выполнения заявок
Анализ ситуации в реальном времени
Выбор бригады, наиболее подходящей для выполнения задания
Построение маршрута движения бригады с учетом дорог, знаков ГИБДД, пробок и т.д.
Построение расписание движения бригады и времени доезда
Адаптация расписания при возникновении непредвиденных событий
Минимизация времени доезда (как можно скорее на важных заявках)
Сокращение общего пробега (на заявках низкой значимости)
Мониторинг и контроль исполнения задания
Оперативное адаптивное планирование работ бригад по событиям в реальном времени (с изменением планов ранее назначенных работ)
Обеспечение индивидуального подхода к планированию каждого заказа
Отображение маршрутов и расписаний на электронной карте
Мониторинг и контроль исполнения бизнес процессов с использованием экономичных мобильных телефонов
Перепланирование в случае расхождения плана и факта
Интеграция с системой приема заявок (Call Center), учетными системами и другими
Построение отчетов по работе бригад

Журнал заявок (цвет – статус)

Заявки и ресурсы показываются на карте

Карта удобно и легко масштабируется

Центральный район с заявками

Использование мобильных устройств

Варианты решений по планированию

Изменения в расписании

Намеченный маршрут исполнения заявок

Изменения по новому событию

Запланированные заявки

Отчет по работе бригад

Динамика показателей консолидированного отчета

Отчет по отклонениям

Отчет по эффективности работ бригад

Революционные изменения в транспортной логистике при переходе к реальному времени
That Was Then
This is Future
Batch
Optimizers
Rules Engines
Constraints
Real-time
Manage Trade-offs
Decision-Making Logic
Cost/value equation
Visualize
Learn, Simulate
Adapt and Forecast

Технологические проблемы разработки МАС
В условиях постоянных изменений в реальном времени очень трудно оценить, насколько текущее решение далеко от «оптимального»;
Решение зависит от истории событий (чувствительность ко времени);
«Эффект бабочки»: малые изменения на входе системы приводят к неожиданным для наблюдателя большим изменениям на выходе;
Реакция системы может непредвиденно замедляться для наблюдателя в случае возникновения длинной цепочки изменений;
При повторном запуске, при тех же самых входных данных решение на выходе может оказаться другим (трудно создать «те же самые» входные условия, когда система никогда не останавливается);
В силу эволюционного подхода решение невозможно «откатить» назад, поскольку ситуация, как правило, непрерывно меняется;
При доработке вручную случаются интересные «казусы», если оператор не смог правильно оценить сложность ситуации и взаимные зависимости принятых и согласованных между собой агентами решений (оператор хочет отправить груз на конкретном грузовике – но тогда другие грузы «убегают» оттуда);
Решение системы часто трудно объяснить пользователю, поскольку оно формируется в процессе сотен и тысяч взаимодействий агентов («интерференция» влияний и потеря каузальности, т.е. причинно-следственных связей).

Теория сложных систем
и «эмержентный» интеллект (вспыхивающий)интеллект» интеллекта»?
Каждый агент может иметь степень удовлетворенности связью
Когда все агенты удовлетворены и не ищут новых связей – состояние «порядка», когда не удовлетворены, и продолжают состоять в связи – близки к «хаосу», разрывают связи – в состояние «хаоса» (нет связей)
В результате расписание формируется как набор неустойчивых равновесий (устойчивых неравновесий»)
Введение агента расписания, оценивающего состояние в целом, позволяет управлять точечными (адресными) «провокациями» например, разбивая уже сложившиеся фрагменты расписания и давая им возможность сложиться заново (при новых условиях), переключать стратегии агентам потребностей и возможностей и др.
Локальные взаимодействия порождают «глобальные структуры» (расписания), которые влияют на поведение образовавших их локальных взаимодействий
Новые события порождают, спонтанно, в заранее не известные моменты времени, автокаталитические реакции, самоускоряющие или самозамедляющие процесс реконструкции расписания
Число возрастающих сообщений на единицу площади сети можно рассматривать как рост «температуры» самоорганизующейся системы в проблемном участке?
Прирост значений показателей за единицу времени (или число тактов реакции) может характеризовать «сложность» и «умность» решения
Путь к созданию принципиально нового «искусственного интеллекта» (интеллектуальный резонатор), образованного непростым взаимодействием очень простых агентов?

Общие проблемы разработки МАС
Опыт разработки указанных приложений показал следующие важные особенности этого процесса:
Продажа инновационных разработок требует участия разработчиков и занимает много времени (от 3 до 18 месяцев);
Критически важные для бизнеса приложения требуют затрат времени примерно в 3 раза больше, чем ожидается в начале;
Объем разработки мультиагентной системы управления («движка») занимает не более 25% общего времени, все остальное время тратиться на вопросы, связанные с базами данных, интерфейсом пользователя и т.д.;
Разработка первой версии мультиагентной системы для управления ресурсами занимает от 3 до 6 месяцев;
Внедрение разработки часто занимает больше времени, чем сама разработка;
Примерное соотношение затрат труда (человеко-месяцев) по основным фазам проекта (на примере системы для аренды машин): проектирование - 10, разработка – 60, тестирование – 20, поставка и внедрение – 40 (на 6 станциях);
Разработанная система должна «выжить» в условиях постоянных ошибок пользователей;
Пользователи должны быть мотивированы на внедрение системы, в идеале, оплачиваться по результатам внедрения;
Пользователи должны иметь возможность вручную дорабатывать расписания, поскольку всегда есть факторы, которые не представляется возможным учесть при принятии решений.

Преимущества технологии
Позволяет создавать интеллектуальные системы нового класса для управления ресурсами в реальном времени
Дают результаты, сопоставимые с результатами работы людей;
Поддерживают полный цикл управления, присущий автономным живым организмам;
Исповедуют новую концепцию «эмерджентного интеллекта», основанного на коллективных взаимодействиях
Возможность предприятиям переходить к экономике реального времени
Повышает эффективность использования ресурсов, качество обслуживания, снижает затраты денег и времени, риски и штрафы
Решает сложные задачи производственного и транспортного планирования за счет перехода от перебора - к поиску конфликтов и компромиссов
Поддерживает непрерывное перепланирование в реальном времени с быстрой и гибкой реакцией на событиям
Обеспечивает индивидуальный подход для каждого заказа и ресурса
Помогает снизить зависимость от персоналий в принятии решений
Снижает затраты на разработку за счет повторного использование кода при переходе к новым сферам применений и усложнении решения
Дает возможность моделирования «если-то» для оптимизации решений
Создает надежную и масштабируемую платформу для роста сложности решаемых задач и развития бизнеса

Мультиагентная платформа нового поколения

Будущее: сетецентрический подход для построения адаптивной р2р сети планировщиков
Сценарий 1: Производственный цех задерживается с производством изделия. Тогда транспорт, который запланирован на перевозку готового изделия клиенту, перепланируется, чтобы не стоять «у ворот» и не ждать производственный цех, и не терять деньги.
Сценарий 2: Транспорт, который запланирован на перевозку готового изделия клиенту, опаздывает. Тогда цех перепланирует свою работу, и успевает дополнительно выполнить другой заказ, для которого важно выполниться как можно скорее.
Enterprise Service Bus
Адаптивный планировщик производственного цеха
Адаптивный планировщик транспортного цеха
XML сообщения
Новое событие: задержка на производстве
Новое событие: задержка на транспорте

Сетецентрический подход
на основе р2р подхода
Позволяет строить очень большие системы («системы систем»)
Каждая система работает полностью автономно, но при необходимости координирует свою работу с другими системами (peer-to-peer: «каждый с каждым» и «равный с равным»)
Открытость: новые системы подключаются к системе «на лету» (или отключаются) без основа и перезапуска других систем.
Гибкость: каждая система быстро реагирует на события и взаимодействует с другими в точности так же, как отдельные агенты, некоторые системы и агенты не знают о существовании других агентов, на которых оказывают влияние .
Высокая надежность: нет одного единого центра управления, уязвимого с точки зрения надежности, выход одной системы из строя не приводит к падению других систем (работают с последними данными)
Высокая производительность: каждая система использует свой сервер.
Масштабируемость в принципе не ограничена, новые системы регистрируются и подключаются на общую шину предприятия.

Лицензии и дипломы

Выводы
Мультиагентные технологии уже сегодня используются для построения промышленных интеллектуальных систем управления ресурсами предприятий;
Разработанные мультиагентные технологии обеспечивают возможность перехода предприятий к принятию решений в реальном времени, позволяя поднять эффективность использования ресурсов до 20-40%;
Результаты исследований и разработок говорят о перспективности мультиагентной технологии и могут найти применение для создания интеллектуальных систем управления ресурсами для широкого диапазона применений.