Машинное обучение

Типы машинного обучения
Индуктивное (по прецедентам) и дедуктивное. Некоторые методы индуктивного обучения были разработаны в качестве альтернативы классическим статистическим подходам. Индуктивное обучение основано на выявлении эмпирических закономерностей, дедуктивное — на формализации знаний экспертов и их использовании в качестве базы знаний. Первый тип характеризуется большим количеством данных и отсутствием или ненадобностью прошлого опыта. Второй тип обучения отличается малым массивом данных или выбором в пользу малых наборов данных, а также глубокими знаниями изучаемого вопроса.

Статистическая теория обучения
Статистическая теория обучения — это модель для обучения машин на основе статистики и функционального анализа. Статистическая теория обучения имеет дело с задачами нахождения функции предсказывания, основанной на данных..

Статистическая теория обучения

E

E
Разброс - характеризует разнообразие алгоритмов (из-за случайности обучающей выборки, в том числе шума, и стохастической природы настройки)
Смещение – способность модели алгоритмов настраиваться на целевую зависимость

Смещение, разброс, переобучение и недообучение.

Смещение, разброс, переобучение и недообучение.

Смещение, разброс, переобучение и недообучение.

Статистический вывод

Параметрические и непараметрические методы

Параметрические и непараметрические методы

Параметрические и непараметрические методы

Параметрические и непараметрические методы

Компромисс между смещением и дисперсией

Компромисс между смещением и дисперсией

Компромисс между смещением и дисперсией

Истинная функция существенно отличается от линейной

Истинная функция существенно отличается от линейной

Степени обученности модели

Примеры недообученных и переобученных моделей

Методология CrispDM

Смещение, разброс, переобучение и недообучение.
Переобучение (overfitting) – явление, когда ошибка на тестовой выборке заметно больше ошибки на обучающей. Это главная проблема машинного обучения: если бы такого эффекта не было (ошибка на тесте примерно совпадала с ошибкой на обучении), то всё обучение сводилось бы к минимизации ошибки на тесте (т.н. эмпирическому риску)
Недообучение (underfitting) – явление, когда ошибка на обучающей выборке достаточно большая, часто говорят «не удаётся настроиться на выборку». Такой странный термин объясняется тем, что недообучение при настройке алгоритмов итерационными методами (например, нейронных сетей методом обратного распространения) можно наблюдать, когда сделано слишком маленькое число итераций, т.е. «не успели обучиться»

Смещение, разброс, переобучение и недообучение.
Сложность (complexity) модели алгоритмов (допускает множество формализаций) – оценивает, насколько разнообразно семейство алгоритмов в модели с точки зрения их функциональных свойств (например, способности настраиваться на выборки). Повышение сложности (т.е. использование более сложных моделей) решает проблему недообучения и вызывает переобучение.
Пример переобучения.
y = sin(4x) + шум

Смещение, разброс, переобучение и недообучение.
Пример переобучения.
зашумлённой пороговой зависимости
Видно, что с увеличением степени ошибка на обучающей выборке падает, а на тестовой (мы взяли очень мелкую сетку отрезка [0, 1]) – сначала падает, потом возрастает.

Измерение качества модели через среднеквадратическое отклонение.

Список литературы
1. Джеймс Г., Уиттон Д., Хасти Т., Тибширани Р . Введение в статистическое обучение с примерами на языке R
2. https://dyakonov.org/2018/04/25/%D1%81%D0%BC%D0%B5%D1%89%D0%B5%D0%BD%D0%B8%D0%B5-bias-%D0%B8-%D1%80%D0%B0%D0%B7%D0%B1%D1%80%D0%BE%D1%81-variance-%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8-%D0%B0%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82/
3. Грас Data Science. Наука о данных с нуля, 2017 г.
4. Введение в машинное обучение. https://www.coursera.org/learn/vvedenie-mashinnoe-obuchenie/lecture/CLOS0/formal-naia-postanovka-zadachi-mashinnogho-obuchieniia