Data Mining классификация и регрессия

Классификация

Постановка задачи
Если входные и выходные переменные модели непрерывные — перед нами задача регрессии.
Если выходная переменная одна и она является дискретной (метка класса), то речь идет о задаче классификации.

Этап первый
Поскольку метка класса каждого примера предварительно задана, построение классификационной модели часто называют обучением с учителем.
В процессе обучения формируются правила, по которым производится отнесение объекта к одному из классов

Этап второй
модель применяется для классификации новых, ранее неизвестных объектов и наблюдений

Линейная регрессия
Задача линейной регрессии заключается в нахождении коэффициентов уравнения линейной регрессии, которое имеет вид:
y = b0 + b1 x1 + b2 x2 + ...+ bn xn ,
где y — выходная (зависимая) переменная модели;
x1, x2,…, xn — входные (независимые) переменные;
bi — коэффициенты линейной регрессии (b0 — свободный член).

Задача линейной регрессии заключается в подборе коэффициентов bi уравнения таким образом, чтобы на заданный входной вектор X = (x1, x2,…, xn)T регрессионная модель формировала желаемое выходное значение y

Линия регрессии — это прямая наилучшего приближения для набора пар значений входной и выходной переменной

Логистическая регрессия
задачи предсказания вероятности некоторого события в зависимости от значений набора независимых переменных
логистическая регрессия служит не для предсказания значений зависимой переменной, а для оценки вероятности того, что зависимая переменная примет заданное значение.

Деревья решений
Методы, основанные на обучении

Дерево решений — это древовидная иерархическая модель, где в каждом узле производится проверка определенного атрибута (признака) с помощью правила
Деревья решений — иерархические древовидные структуры, состоящие из решающих правил вида «если… то…» и позволяющие выполнять классификацию объектов. В дереве каждому объекту соответствует единственный узел, дающий решение.

Деревья решений — это модели, основанные на обучении. Процесс обучения сравнительно прост в настройке и управлении.
Процесс обучения деревьев решений быстр и эффективен.
Деревья решений универсальны — способны решать задачи как классификации, так и регрессии.
Деревья решений обладают высокой объясняющей способностью и интерпретируемостью.

Построение дерева
Описание атрибутов
Предварительное определение классов
Различимость классов
Полнота данных

Структура дерева решений

Принцип «разделяй и властвуй»
2 3

Искусственные нейронные сети
Методы, основанные на обучении

Искусственная нейронная сеть представляет собой параллельно-распределенную систему процессорных элементов (нейронов), способных выполнять простейшую обработку данных, которая может настраивать свои параметры в ходе обучения на эмпирических данных. Накопленные знания нейронной сети сосредоточены в весах межэлементных связей.

свойства нейронных сетей
Нелинейность.
Обучение на примерах
Параллельная обработка данных.
Адаптивность.
Отказоустойчивость.

Входные данные хорошо интерпретируются
Желаемые результаты также хорошо интерпретируются
Доступный опыт

Выбор числа нейронов в многослойном персептроне
Число нейронов во входном и выходном слоях жестко определяется числом входных и выходных переменных модели соответственно.
Число нейронов в скрытых слоях и число скрытых слоев выбираются таким образом, чтобы количество образованных ими связей было как минимум в два-три раза меньше числа обучающих примеров.