Машинное обучение. День 2. Классификация

ПЛАН
День 2. Классификация.
ОСНОВЫ
10 МИН
Формальная постановка задачи ML. Основные понятия и проблемы.
ПЛАН РЕШЕНИЯ
ML-ЗАДАЧ 5 МИН
Как организован процесс решения ML-задачи. В первом приближении.
МЕТОДЫ
15 МИН
Методы классификации: линейные методы, решающие деревья.
ПРАКТИКА
10 МИН
Решим 1 задачу по плану методами пакета python -- sklearn.
01
02
03
04

01
ОСНОВЫ
10 МИН
X – множество объектов / features
Y – целевое значение / target
f – решающая функция или алгоритм ML
f ( X ) = Y
Постановка задачи и признаки
X =
Y =
Типы признаков:
количественные
категориальные
Кодирование категориальных признаков:
OneHotEncoding
LabelEncoding
?
?

01
ОСНОВЫ
10 МИН
Выборки и метрики
Этапы:
обучение (train)
тестирование (test)
Разделение данных:
обучение (train) – 80%
тестирование (test) – 20%
Метрика
Метрика – это число.
Это показатель того, насколько хорошо работает наш алгоритм и какая у него обобщающая способность.
Метрика считается только на тестовой выборке
Accuracy
Метрика доли верно угаданных ответов (accuracy).
Accuracy =
= 0.6

02
МЕТОДЫ
15 МИН
Типы алгоритмов классификации*
Линейные методы
Деревья
SGD, SVM, Logistic regression, etc.
Decision tree classifier, Decision tree regressor, Random Forest, etc.
*существуют и другие типы, но мы остановимся только на этих двух

02
МЕТОДЫ
15 МИН
Линейные методы
X
w
Y

02
МЕТОДЫ
15 МИН
Линейные методы
Решение задачи – поиск вектора весов.
Алгоритм решения – метод градиентного спуска.
Loss
Loss (loss-function, функция потерь) может задаваться по-разному.
Все линейные методы устроены одинаковы.
У них только отличается функция потерь (loss).
Популярные линейные методы:
SVM – метод опорных вектором
Logistic Regression – логистическая регрессия
AdaBoost – метод адаптивного бустинга

02
МЕТОДЫ
15 МИН
Деревья
Найти:
f – ?
Бинарное решающее дерево
Ациклический граф
Если вершина соединена с 2 дочерними – внутренняя вершина
Если нет – листовая (терминальная) вершина
На внутренних вершинах сидят предикаты
Листовые
вершины
Внутренние
вершины
Предикат

02
МЕТОДЫ
15 МИН
Деревья
Критерий разбиения (ветвления):
GINI
ENTROPY
Показывает, сколько есть пар объектов одного и того же класса, которые вместе идут в левую либо в правую дочернюю вершину.
Критерий разбиения из теории информации. Суть примерно такая же как у gini.
F1 == 1
F2 == 1
TRUE
FALSE
TRUE
FALSE
1
0
0
И это все?
TreeGrowth
Overfitting
Prunning
NonBinary
MaxDepth
MinSamplesLeaf
RandomForest

step 1
step 2
step 3
step 4
step 5
ПЛАН РЕШЕНИЯ
ML-ЗАДАЧ 5 МИН
03
Первое приближение
Меняем?

Откройте учебный Notebook из архива с материалами к занятию.
Первая ML-задача.
Практика 2
04
ПРАКТИКА
10 МИН

Метрики классификации

Полнота (recall)
Матрица ошибок (Confusion matrix):
На сколько хорошо алгоритм определяет класс №1
Контролируем ошибку 2 рода
Когда использовать?
Когда нужно минимизировать ложные пропуски.

Точность (precision)
Матрица ошибок (Confusion matrix):
Доля объектов, названных классом №1
Контролируем ошибку 1 рода
Когда использовать?
Когда нужно минимизировать ложные попадания.