Обзор приложений копул к задачам Байесовской классификации при машинном обучении

Высшая школа экономики, Москва, 2014
Цель работы
фото
фото
Основная цель:
Сравнение стандартных походов к классификации с байесовской классификацией с использованием копул, в частности архимедовых копул.
Используемые классификаторы:
Классификация по двум классам.
Квадратичный дискриминант.
Байесовский классификатор с копулой Клейтона для первого класса.
Байесовский классификатор с копулой Гумбеля для второго класса.
Logit регрессия.
Данные:
Искусственно сгенерированные:
Гауссовские
Не гауссовские
Копула Клейтона для первого класса
Копула Гумбеля для второго класса

Высшая школа экономики, Москва, 2014
Применение
фото
фото
Возможные задачи классификации:
Кредитный скоринг
Моделирование вероятностей дефолтов
Классификация изображений [Крылов 2010], [Крылов 2013]
Распознавание речи
Медицинские исследования [Han, Zhao, Liu 2013]

Высшая школа экономики, Москва, 2014
Байесовский классификатор
фото
фото

Высшая школа экономики, Москва, 2014
Квадратичный дискриминант
фото
фото

Высшая школа экономики, Москва, 2014
Интеграция копул в байесовский классификатор
фото
фото

Высшая школа экономики, Москва, 2014
Байесовский классификатор и архимедовы копулы
фото
фото

Высшая школа экономики, Москва, 2014
Моделирование
фото
фото
Происходила генерация двух типов данных:
Гауссовские
Не гауссовские
Копула Клейтона для первого класса.
Копула Гумбеля для второго класса.
В обоих случаях маржинальные распределения:

Высшая школа экономики, Москва, 2014
Схема процесса
фото
фото
Обучение (оптимизация параметров маржин. распределений и копулы)
Обучение (оптимизация параметров двумерного гауссиана)
Генерация данных:
1) Гауссовские
2) Не гауссовские
Классификация
байес. копула
Классификация квадратичный дискриминант
Генерация новых данных:
1) Гауссовские
2) Не гауссовские

Высшая школа экономики, Москва, 2014
Результаты. Корр. 0
фото
фото

Высшая школа экономики, Москва, 2014
Результаты Корр. 0,2
фото
фото

Высшая школа экономики, Москва, 2014
Результаты Корр. 0,4
фото
фото

Высшая школа экономики, Москва, 2014
Результаты Корр. 0,6
фото
фото

Высшая школа экономики, Москва, 2014
Результаты Корр. 0,8
фото
фото

Высшая школа экономики, Москва, 2014
Результаты Корр. 0,9
фото
фото

Высшая школа экономики, Москва, 2014
Результаты Корр. 0,95
фото
фото

Высшая школа экономики, Москва, 2014
Результаты Корр. 0,99
фото
фото

Высшая школа экономики, Москва, 2014
Результаты Корр. 0,6, Logit
фото
фото

Высшая школа экономики, Москва, 2014
Результаты таблица 1
фото
фото

Высшая школа экономики, Москва, 2014
Результаты таблица 2
фото
фото

Высшая школа экономики, Москва, 2014
Выводы
фото
фото
На не гауссовских данных, классификатор с использованием копулы более точное чем стандартный квадратичный дискриминант.
На гауссовских данных происходит потеря точности, которую можно компенсировать «умным» использованием копулы.