ВКР: Использование метода машинного обучения на основе Q-обучения для управления роботом-манипулятором

Актуальность
Интеллектуальные системы принятия решений в реальном времени
Решение прикладных задач
Относительно быстрая адаптация к неизвестным средам
Исхаков М.Р. Исспользование метода машинного обучения на основе Q-обучения для управления роботом-манипулятором

Постановка задачи
Цель: Перемещение схвата манипулятора в заданную точку рабочей зоны. Перемещение скользящих по поверхности объектов в заданную точку плоскости.
Требования:
Вывод значений параметров системы по завершению каждой эпохи
Моделирование физических законов в среде обучения
Возможность реализации с использованием низкопроизводительной техники
Визуализация полученных результатов по завершению обучения
Исхаков М.Р. Исспользование метода машинного обучения на основе Q-обучения для управления роботом-манипулятором

Перечень подлежащих разработке вопросов
Выбор инструментария для реализации методов машинного обучения
Анализ и выбор алгоритмов обучения, отвечающих поставленной задаче
Выбор среды окружения
Реализация управления манипулятором поредством алгоритмов обучения с подкреплением
Вывод, визуализация и анализ полученных результатов обучения системы
Исхаков М.Р. Исспользование метода машинного обучения на основе Q-обучения для управления роботом-манипулятором

Инструментарий для исследований обучения с подкреплением Gym
Исхаков М.Р. Исспользование метода машинного обучения на основе Q-обучения для управления роботом-манипулятором

Обучение с подкреплением. Q-обучение
Исхаков М.Р. Исспользование метода машинного обучения на основе Q-обучения для управления роботом-манипулятором

Алгоритмы
Исхаков М.Р. Исспользование метода машинного обучения на основе Q-обучения для управления роботом-манипулятором
DDPG
HER

Среда окружения
Исхаков М.Р. Исспользование метода машинного обучения на основе Q-обучения для управления роботом-манипулятором
FetchSlide-v1
FetchReach-v1

Вывод и анализ данных
Исхаков М.Р. Исспользование метода машинного обучения на основе Q-обучения для управления роботом-манипулятором
HER + DDPG
FetchReach-v1
100 эпизодов

Вывод и анализ данных
Исхаков М.Р. Исспользование метода машинного обучения на основе Q-обучения для управления роботом-манипулятором
HER + DDPG
FetchReach-v1
100 эпизодов

Вывод и анализ данных
Исхаков М.Р. Исспользование метода машинного обучения на основе Q-обучения для управления роботом-манипулятором
HER + DDPG
FetchSlide-v1
2000 эпизодов

Вывод и анализ данных
Исхаков М.Р. Исспользование метода машинного обучения на основе Q-обучения для управления роботом-манипулятором
HER + DDPG
FetchSlide-v1
2000 эпизодов