Об одном способе регуляризации некорректно поставленных задач распознавания образов

Об одном способе регуляризации некорректно поставленных задач распознавания образов. ММРО-11, 2003
Классическая задача распознавания образов является некорректно поставленной:
Решение не единственно
Решение неустойчиво
Вывод: необходима регуляризация процедуры обучения
Основной тезис

Об одном способе регуляризации некорректно поставленных задач распознавания образов. ММРО-11, 2003
Классический путь решения задачи РО:
Обучение алгоритма построено на увеличении способности к запоминанию (минимизации ошибки на обучающей выборке), НО…
Где же контроль за способностью к обобщению?

Об одном способе регуляризации некорректно поставленных задач распознавания образов. ММРО-11, 2003
Изменение способности к запоминанию и обобщению в процессе обучения
Время обучения
Способность к
запоминанию
Способность к
обобщению
STOP?

Об одном способе регуляризации некорректно поставленных задач распознавания образов. ММРО-11, 2003
Интерпретация способности к обобщению
Предположение: способность к обобщению связана с устойчивостью на объектах обучающей выборки
Следствие: необходимо добавить к функционалу качества поправку на устойчивость

Об одном способе регуляризации некорректно поставленных задач распознавания образов. ММРО-11, 2003
Регуляризация функционала качества
Регуляризованный
функционал
Классический функционал качества.
Например доля ошибок
на обучении
Регуляризатор

Об одном способе регуляризации некорректно поставленных задач распознавания образов. ММРО-11, 2003
Результаты экспериментов I

Об одном способе регуляризации некорректно поставленных задач распознавания образов. ММРО-11, 2003
Результаты экспериментов II

Об одном способе регуляризации некорректно поставленных задач распознавания образов. ММРО-11, 2003
Любопытный факт
При соответствующей масштабировке выборки наилучший параметр регуляризации не зависит от размерности и вида задачи и его величина составляет порядка 0.5 - 2

Об одном способе регуляризации некорректно поставленных задач распознавания образов. ММРО-11, 2003
Направления дальнейшей работы
Модификация процедур обучения с учетом изменений функционала
Исследование возможностей регуляризации для различных семейств алгоритмов
Сравнение с другими методами регуляризации (напр. Байесовским)