Эволюция, или как превратить линейную модель в искусство

Воспоминания о линейных моделях

Воспоминания о линейных моделях
Линейная модель представима в виде:
Или более строго:

Воспоминания о линейных моделях

Регуляризаторы
Проблема большого количества признаков - наличие зависимых друг от друга признаков, ведущее к неустойчивости модели, и переобучение модели под обучающую выборку.
Решение - добавление к штрафу за большое отклонение от требуемого значения (квадратичному отклонению) штрафа за большие веса. Весовой штраф может быть выражен как модулями, так и квадратами модулей весов признаков.

Регуляризаторы

Отбор признаков
Рассмотрим отрезок [0,1] в одномерном пространстве:
в отрезке [0.1,0.99] лежат 98% всех точек
Рассмотрим отрезок (куб) [0,1]3 в трёхмерном пространстве:
в кубе [0.1,0.99]3 лежат уже ~94% всех точек
Рассмотрим отрезок [0,1]1000 в тысячемерном пространстве:
в кубе [0.1,0.99]1000 лежат всего ~1.6*107% всех точек