Машинное обучение: оценка качества

Задача
Хотим понять хорошо ли будет работать решающая функция на практике.
Санкт-Петербург, 2018
Н. Поваров, И. Куралёнок
“If you can’t measure it, you can’t improve it”
Lord Kelvin
“Гораздо легче что-то измерить, чем понять, что именно вы измеряете.”
Джон Уильям Салливан

График целевой метрики
Санкт-Петербург, 2018
Н. Поваров, И. Куралёнок

График целевой метрики
Санкт-Петербург, 2018
Н. Поваров, И. Куралёнок

Вспомним о чём ML
Н. Поваров, И. Куралёнок
Санкт-Петербург, 2018

Грубая классфикация способов оценки
Black Box методы
Online
Offline
Glass Box методы VC-оценки
PAC-Bayes bounds
Оценки по Воронцову
Санкт-Петербург, 2018
Н. Поваров, И. Куралёнок

Грубая классфикация способов оценки
Black Box методы
Online
Offline
Glass Box методы VC-оценки
PAC-Bayes bounds
Оценки по Воронцову
Санкт-Петербург, 2018
Н. Поваров, И. Куралёнок

Online
Наблюдение
Эксперимент
Санкт-Петербург, 2018
Н. Поваров, И. Куралёнок

Online
Наблюдение
Эксперимент
Санкт-Петербург, 2018
Н. Поваров, И. Куралёнок

Online
Наблюдение
Эксперимент
Санкт-Петербург, 2018
Н. Поваров, И. Куралёнок

Online
+ В условиях эксплуатации
+ В положительные результаты эксперимента обычно верят
+ Легко хвастаться результатом
- Вряд ли цель эксплуатации
- Можно навредить пользователям
Санкт-Петербург, 2018
Н. Поваров, И. Куралёнок

Offline
+ Нельзя навредить пользователям
+ Обычно можно проводить сильно больше экспериментов
- Обычно нужны данные (примеры)
- Сложно «хвастаться» результатом
Санкт-Петербург, 2018
Н. Поваров, И. Куралёнок

Оценка качества как система принятия решений
Санкт-Петербург, 2018
Н. Поваров, И. Куралёнок
Nature
СПР

Offline
Санкт-Петербург, 2018
Н. Поваров, И. Куралёнок

Offline на данных
Hold Out
Cross-fold Validation
Bootstrap
Санкт-Петербург, 2018
Н. Поваров, И. Куралёнок

Hold-out
Санкт-Петербург, 2018
Н. Поваров, И. Куралёнок

Cross-fold Validation
Санкт-Петербург, 2018
Н. Поваров, И. Куралёнок

Cross-fold Validation
Санкт-Петербург, 2018
Н. Поваров, И. Куралёнок

Cross-fold Validation
Санкт-Петербург, 2018
Н. Поваров, И. Куралёнок

Повторные выборки
Санкт-Петербург, 2018
Н. Поваров, И. Куралёнок

Где в offline система принятия решений
Санкт-Петербург, 2018
Н. Поваров, И. Куралёнок

Где в offline система принятия решений
Санкт-Петербург, 2018
Н. Поваров, И. Куралёнок
В случае hold-out — «много» наблюдений в T.
В случае cross-fold — большое k.
В случае повторных выборок — можно сделать много раз.

Как выбрать статтест?
Санкт-Петербург, 2018
Н. Поваров, И. Куралёнок

Классический подход что надо помнить
Санкт-Петербург, 2018
Н. Поваров, И. Куралёнок
Направленность
Шкала измерений (отношений, порядка, номинальная, бинарная)
Связанные/независимые наблюдения
Параметрические/непараметрические
...

Есть метод проще!
Санкт-Петербург, 2018
Н. Поваров, И. Куралёнок

Правильный подход на примере hold-out
Санкт-Петербург, 2018
Н. Поваров, И. Куралёнок
A bootstrap sample is a random sample taken with replacement from the original sample, of the same size as the original sample.
A bootstrap statistic is the statistic computed on bootstrap sample.
A bootstrap distribution is the distribution of many bootstrap statistic.

Правильный подход на примере hold-out
Санкт-Петербург, 2018
Н. Поваров, И. Куралёнок

Common knowledge
Санкт-Петербург, 2018
Н. Поваров, И. Куралёнок
Model Selection
Flexibility
Bias-Variance trade-off
Evaluation
Выбор сложности модели
Обобщающая способность алгоритма

На примере
Санкт-Петербург, 2018
Н. Поваров, И. Куралёнок

На примере
Санкт-Петербург, 2018
Н. Поваров, И. Куралёнок

На примере
Санкт-Петербург, 2018
Н. Поваров, И. Куралёнок

Формальная картинка же
Санкт-Петербург, 2018
Н. Поваров, И. Куралёнок

Сложность (гибкость) модели
Чем больше в модели параметров, тем больше информации она может нести.
— Ваш К. О.
Санкт-Петербург, 2018
Н. Поваров, И. Куралёнок
Какая бывает информация в параметрах:
про генеральную совокупность;
про выборку;
про random seed.

Определение I
Переобучение, переподгонка (overfitting, high variance) — нежелательное явление, возникающее при решении задач обучения по прецедентам, когда вероятность ошибки обученного алгоритма на объектах тестовой выборки оказывается существенно выше, чем средняя ошибка на обучающей выборке.
Санкт-Петербург, 2018
Н. Поваров, И. Куралёнок

Определение II
Недообучение (underfitting, high bias) — нежелательное явление, возникающее при решении задач обучения по прецедентам, когда алгоритм обучения не обеспечивает достаточно малой величины средней ошибки на обучающей выборке.
Санкт-Петербург, 2018
Н. Поваров, И. Куралёнок

Зачем знать
Увеличение числа примеров для обучения исправляет high variance
Меньшее число факторов исправляет high variance
Уменьшение сложности модели исправляет high variance
Увеличение числа факторов исправляет high bias
Увеличение сложности модели исправляет high bias
Санкт-Петербург, 2018
Н. Поваров, И. Куралёнок

Как понять где мы находимся
Санкт-Петербург, 2018
Н. Поваров, И. Куралёнок

Как понять где мы находимся
Санкт-Петербург, 2018
Н. Поваров, И. Куралёнок
Underfit
Overfit

Как понять где мы находимся
Санкт-Петербург, 2018
Н. Поваров, И. Куралёнок

Как можно переобучиться
Линейные модели: степень полинома
Деревья решений: глубина дерева
Нейронные сети: ширина и глубина
SVM: Kernel trick
...
Санкт-Петербург, 2018
Н. Поваров, И. Куралёнок

Итого offline
В академической среде чаще всего это про сложность модели
В промышленности это про выбор лучшей решающей функции
Смотреть на это надо как на СПР
У нас есть проверка гипотез
Санкт-Петербург, 2018
Н. Поваров, И. Куралёнок