Линейная регрессия

Почему линейные модели до сих пор используются?
Очень простые, поэтому можно использовать там, где нужна интерпретируемость модели и надежность.
Не переобучаются
Легко применять

Постановка задачи
Датасет:
Функция потерь:

Определение модели
Мы будем искать модель в следующем виде
Намного удобнее для записи внести 1 в вектор признаков

Линейность по параметрам
Какое может быть происхождение у признаков ?
Просто численный признак
Преобразования численных признаков (корень, логарифм, итд)
Степени численного признака
Значения из One-Hot-Encoding
Взаимодействия между разными признаками (
Линейная модель линейна по параметрам, а не признакам.
)

Пример

Точное решение
Запишем то, что мы хотим получить:

Точное решение
Случай , тогда матрица - квадратная и может иметь обратную.
=
Система линейных уравнений:
Решение:

Pseudo-Inverse
Обычно , тогда у нас переопределенная система линейных уравнений.
=
Система линейных уравнений:
Приближенное решение:
Псевдообратная матрица дает решение с наименьшей квадратичной ошибкой.

Получение решения через производную
Подставим выражение для в функцию потерь и запишем в векторном виде:
Возьмем производную

Обучение классификаторов

Получение решения через производную
Возьмем производную
Если у линейно независимые столбцы, то можно приравнять производную к нулю.

Постановка задачи
Датасет:
Функция потерь:
, . То есть это вектор из 0 и 1
Будет позже

Мы хотим выбрать функцию потерь, но какая лучше всего подойдет не знаем.
Попробуем искать лучшую модель с помощью теоремы из статистики.

Вероятностная модель
Х- случайная величина вектор признаков.
Y- случайная величина целевая переменная.
Пример случайной модели (клики на рекламу):
X = (количество кликов раньше, время активности, уровень доходов)
Y = 1 если клик будет, 0 если клика не будет.
Тогда можно задать распределение вероятностей:
вероятность того, что человек с заданными характеристиками кликнет на рекламу.

Функция правдоподобия
Найдем способ для обучения любой модели, предсказывающей вероятность принадлежности к классу.
- вектор признаков, - наша модель.
Назовем правдоподобием
Это вероятность получения нашей выборки согласно предсказаниям модели.

Обучение модели через максимальное правдоподобие
Теорема из статистики гарантирует, что если мы найдем параметры модели, которые максимизируют правдоподобие, то они будут хорошие.

Связь с минимизацией функции потерь
Преобразуем задачу максимизации в задачу минимизации.
Мы видим что минимизация полученного выражения - то же самое, что минимизация эмпирического риска, где функция потерь - логарифм вероятности правильного класса.

Что мы сделали
Мы знаем, что максимизация правдоподобия дает хорошие веса из статистики.
Изменив формулу, мы смогли найти такую функцию потерь, что ее минимизация и максимизация правдоподобия это одно и то же.

Логистическая регрессия

Определение модели
Мы будем искать модель в следующем виде.
Определение сигмоиды:

Предсказание вероятности
Будем считать, что наша модель предсказывает вероятности. Именно поэтому она называется регрессией.
Вероятносвть для двух классов можно расписать так:

Пример работы
Как выглядит обученная логистическая регрессия на данных с одним признаком.

Обучение логистической регрессии
В полученную ранее формулу функции потерь можно подставить вероятность, которую предсказывает логистическая регрессия.
Функция потерь для произвольного классификатора:
Функция потерь для логистической регрессии (LogLoss):

Обобщение на много классов
Пусть у нас есть m классов. Введем две новые функции:

Пример работы Softmax

Много классов
Выпишем предсказанную вероятность для к-го класса.
Ее можно подставить в функцию потерь для произвольного классификатора.

Градиентный спуск

Обучение логистической регрессии
В полученную ранее формулу функции потерь можно подставить вероятность, которую предсказывает логистическая регрессия.
Функция потерь для произвольного классификатора:
Функция потерь для логистической регрессии (LogLoss):

Эвристика градиентного спуска

Градиентный спуск формализация
У нас стоит задача минимизации какой-то функции:
Чтобы применять метод градиентного спуска нужно уметь вычислять градиент функции в точке:
Заранее зададим некоторое число , которое будет влиять на то, насколько большие шаги мы делаем. Оно называется learning rate

Шаг градиентного спуска
На каждом шаге будем менять все переменные, от которых зависит функция:
...
Или в векторной форме:

Градиентный спуск
Выбираем точку, с которой начнем оптимизацию.
На каждом шаге будем менять все переменные, от которых зависит функция:
...
Или в векторной форме:
Повторяем, пока изменение не будет достаточно маленьким или пройдет много шагов.

Градиентный спуск для параболы
Будем минимизировать ,
/ /
Теперь делаем обновления:
С каждым шагом мы будем приближаться к 0 - минимуму функции.

Градиентный спуск для линейной регрессии
Функция потерь (она зависит только от весов, потому что изменять мы будем их):
Производная функции потерь по весам:

Градиентный спуск для линейной регрессии
Пошагово возьмем производную лосса по параметрам:

Градиентный спуск для линейной регрессии
Функция потерь (она зависит только от весов, потому что изменять мы будем их):
Производная функции потерь по весам:

Градиентный спуск для линейной регрессии
Будем минимизировать
Как-то выберем начальные веса.
Теперь делаем обновления:

Градиентный спуск для логистической регрессии
Функция потерь:

Градиентный спуск для логистической регрессии
Возьмем производную:
Соединим:

Регуляризация

Мультиколлинеарность для линейной регрессии
Вспомним определение линейной регрессии:
Если столбцы матрицы линейно зависимы, то существуют такие коэффициенты , что .
Но тогда существует бесконечное количество весов, дающих одинаковые предсказания:

Weight Decay
Мы можем предположить, что веса не должны быть большими по модулю.
Изменим функцию потерь, чтобы отражать это ( - некоторая константа):
-регуляризация
-регуляризация

Как изменится градиент
-регуляризация
-регуляризация

Нормализация признаков

Что такое нормализация?
Мы изменяем признаки в датасете по правилу:
- среднее значение j-го признака в обучающей выборке
- стандартное отклонение j-го признака в обучающей выборке

Зачем?
Градиентный спуск и другие методы плохо работают на признаках с очень большим или маленьким масштабом.
Разный масштаб весов вредит регуляризации.
Для нормированных данных веса говорят о важности признаков.