Слайд 3Вероятностные автоматы
Моделирование сложных систем, имеющих стохастическую природу
Построение мобильных агентов
![Вероятностные автоматы Моделирование сложных систем, имеющих стохастическую природу Построение мобильных агентов](/_ipx/f_webp&q_80&fit_contain&s_1440x1080/imagesDir/jpg/437883/slide-2.jpg)
Слайд 4Обучение автомата
Действие
Проверка «слабого условия»
Перераспределение вероятностей
![Обучение автомата Действие Проверка «слабого условия» Перераспределение вероятностей](/_ipx/f_webp&q_80&fit_contain&s_1440x1080/imagesDir/jpg/437883/slide-3.jpg)
Слайд 5Применение
стимулирующего обучения
Работать непосредственно с вероятностной моделью непрактично
Генерация автоматной модели
![Применение стимулирующего обучения Работать непосредственно с вероятностной моделью непрактично Генерация автоматной модели](/_ipx/f_webp&q_80&fit_contain&s_1440x1080/imagesDir/jpg/437883/slide-4.jpg)
Слайд 6Q-learning:
статические задачи
Обучение Q-функции
Порождение оптимальной стратегии
![Q-learning: статические задачи Обучение Q-функции Порождение оптимальной стратегии](/_ipx/f_webp&q_80&fit_contain&s_1440x1080/imagesDir/jpg/437883/slide-5.jpg)
Слайд 7Q-learning:
стохастические системы
Обучение Q-функции
Подсчёт вероятностей переходов
Сжатие вероятностной модели
![Q-learning: стохастические системы Обучение Q-функции Подсчёт вероятностей переходов Сжатие вероятностной модели](/_ipx/f_webp&q_80&fit_contain&s_1440x1080/imagesDir/jpg/437883/slide-6.jpg)
Слайд 8Пример задачи на двумерном поле
Клетка поля определяет текущее состояние мобильного робота
Четыре доступных
![Пример задачи на двумерном поле Клетка поля определяет текущее состояние мобильного робота](/_ipx/f_webp&q_80&fit_contain&s_1440x1080/imagesDir/jpg/437883/slide-7.jpg)
действия
Выделенные клетки
Задача – максимизировать общую прибыль для нескольких мобильных роботов