Машинное обучение: качество

Немного «фраз»
«Гораздо легче что-то измерить, чем понять, что именно вы измеряете.»
— Джон Уильям Салливан
«If you can't measure it, you can't improve it»
— Lord Kelvin

Постановка в случае учителя
Ожидание хотим считать по всей ген. совокупности
Функцию обучаем на X
=> Если бы X была репрезентативной то все проще:

Какая нужна выборка
Интересно получить выборку, несмещенную (смещенную не более чем …) по результатам процедуры обучения:
Найти «хороший» способ генерации выборки при условии процедуры подбора
Наложить ограничения на процедуру подбора
Ограничения на решающую функцию
=> Надо научиться мерять смещенность выборки
Иными словами, репрезентативная выборка представляет собой микрокосм, меньшую по размеру, но точную модель генеральной совокупности, которую она должна отражать.
- Дж. Б. Мангейм, Р. К. Рич

Как это выглядит на практике?

Как это выглядит на практике?

Как это выглядит на практике?

Виды ошибок обучения

Виды ошибок обучения
Переобучение, переподгонка (overtraining, overfitting) — нежелательное явление, возникающее при решении задач обучения по прецедентам, когда вероятность ошибки обученного алгоритма на объектах тестовой выборки оказывается существенно выше, чем средняя ошибка на обучающей выборке.
Недообучение (underfitting)— нежелательное явление, возникающее при решении задач обучения по прецедентам, когда алгоритм обучения не обеспечивает достаточно малой величины средней ошибки на обучающей выборке. Недообучение возникает при использовании недостаточно сложных моделей.
- machinelearning.ru

Наш первый метод

Пример
По материалам machinelearning.ru

Пример
По материалам machinelearning.ru

Пример
По материалам machinelearning.ru

Задача
Дано:
Найти оптимальные p и a

Постановка в случае учителя
Ожидание хотим считать по всей ген. совокупности
Функцию обучаем на X
=> Если бы X была репрезентативной то все проще:

Схема тестирования

Overfit on validation

Как не оверфитнуться?
White box:
Выбор решающего семейства при фиксированном объеме данных: VC оценки
Оценка вероятности переобучения (по Воронцову)
PAC-Bayes bounds
Изменение процедуры подбора:
Игры с шагом
Регуляризация
Black box:
Cross-validation

Теория Вапника-Червоненкиса
Владимир Наумович Вапник, Алексей Яковлевич Червоненкис
Задача минимизации эмпирического риска
VC-оценка (классификация):

Вероятность переобучения
Воронцов Константин Вячеславович (machinelearning.ru, ШАД в Москве)
Вводим слабую вероятностную аксиоматику
Оцениваем вероятность переобучения:

PAC-Bayes bounds
Результат алгоритма – распределение над семейством
Решающая функция –среднее выборки этого распределения

Изменение процедуры подбора
Игры с шагом: а давайте не будем точно решать задачку
Поменяем Lossь так, чтобы более «рискованные» решения получали discount.

Cross-validation
Рандомно поделим множество X на несколько кусочков
Обучимся на одной части Проверим на оставшихся
Повторим до ощущения надежности

Виды cross-validation
2-fold
k-fold
Random sub-sampling (e.g. bootstrapping)
Leave-one-out (LOOCV)

Как принять решение по результатам CFV?
Wilcoxon signed rank test для проверки на равенство
Знак по выборочному среднему
Проблемы:
Чем меньше выборка X тем более зависимы результаты
Интересно:
а наблюдаем мы только 1 реализацию.
Слишком оптимистичные решения
Любое практическое исследование должно иметь эти оценки

На чем тестировать?
Реальные данные
Поиск: РОМИП, TREC, Яндекс.ИМАТ, Yahoo LTRCh
Pascal Challenge
InnoCentive
Искусственные данные (многомерный XOR)
Задумаем «хитрое» распределение и попробуем его отгадать

ОТСЕБЯТЕНА
Машинное Обучение: качество