Регрессионный анализ

В основе регрессионного анализа лежит предположение, что зависимая переменная является функций одной или нескольких независимых переменных. Тогда, зная значения независимых переменных, мы можем сделать прогноз об изменении зависимой переменной.
Регрессионный анализ предполагает построение регрессионного уравнения, его оценку и анализ.
Определение

Простейшей регрессионной моделью является парная линейная регрессия.
Уравнение парной линейной регрессии в общем виде следующее:
у=b0+b1x , где
b0 – свободный член уравнения регрессии (Константа);
b1 –коэффициент уравнения регрессии.
Уравнение парной линейной регрессии

Зависимая (результирующая) переменная должна быть непрерывной количественной переменной. Независимая переменная должна быть непрерывной или дихотомической. Категориальные независимые переменные с более чем двумя значениями перекодируются в набор дихотомических переменных.
Изучаемая совокупность должна быть достаточно большой, чтобы показатели связей были статистически надежными (число единиц совокупности должно превосходить число коррелируемых переменных не менее чем в 6-8 раз).
Требования к исходным данным регрессионного анализа

Каждое значение зависимой переменной должно быть независимо от других значений. Такие зависимости возникают если опрашивать одного и того же респондента в разные периоды времени или опрашивать респондентов, объединенных в группы (семья, бригада и т. д.).
Распределение зависимой переменной должно быть близким к нормальному и не иметь явных выбросов.
Должно выполняться требование гомоскедактичности, что означает, что ошибки не становятся меньше, если уменьшается значение у и не растут с увеличением значений у. Это предположение проверяется при построении диаграммы рассеяния между стандартизованными остатками и стандартизованными предсказанными значениями. Если облако рассеяния овальное – данные гомоскедактичные. Если облако рассеяния принимает форму конуса, требование гомоскедактичности нарушается и данные являются гетероскедактичными.
Требования к исходным данным регрессионного анализа

Ошибка предсказания для каждого значения не должна зависеть от ошибки предсказания других значений (тест Дарбина-Уотсона), остатки должны быть нормально распределены (график остатков).
Для случая множественной регрессии должно отсутствовать явление мультиколлинеарности, которое возникает, когда независимые переменные сильно коррелируют между собой. Такого рода корреляция может оказать сильное воздействие на зависимый признак и это уже будет иное воздействие, чем независимых переменных по отдельности.
Требования к исходным данным регрессионного анализа

Построить уравнение парной линейной регрессии для переменных «Возраст» и «Заболевания зубов» (измеренной по пятибалльной шкале, где 0 - здоровые зубы, а 4 – наибольшая степень развития заболевания)
Пример:

Теоретически мы должны доказать, что изучение связи между причиной и следствием имеет смысл.
Причина всегда по времени должна предшествовать следствию.
Причина должна коррелировать со следствием.
Проверка причинно-следственной связи

Рассмотрим корреляцию переменных «Возраст» и «Заболевания зубов»

Analyze/ Анализ ? Correlation/Корреляции ? Bivariate/Парные
Проверка на наличие корреляции возраста и заболевания зубов

Выполнение команды:
Analyze/Анализ ? Regression/Регрессия ? Linear/Линейная
В поле Dependent
Имя зависимой переменной
В поле Independent(s)
Имя независимой переменной OK
Построение парной линейной регрессии

Кнопка «Статистики/Statistics» - активизируем вычисление теста Дарбина-Уотсона;
Кнопка «Графики/Plots» - помечаем вывод в отчет графиков стандартизованных остатков (Гистограмма, Нормальный вероятностный график), а также задаем Диаграмму рассеяния стандартизованных предсказанных значений (ZRESID по оси Х) и стандартизованных остатков (ZPRED по оси У)
Дополнительные настройки

у=1,295+0,033x
Результаты выполнения команд регрессионного анализа

Анализ качества регрессионной модели

Диаграмма рассеяния стандартных остатков и стандартизированных предсказанных значений, проверка гомоскедактичности

явление гомоскедактичности отсутствует
Остатки гомоскедактичные
Диаграмма рассеяния остатков

Множественная линейная регрессия
В большинстве задач следствие не может быть объяснено одной единственной причиной; как правило, приходится изучать влияние на него нескольких причин одновременно. Для исследования такой множественной связи используется уравнение множественной линейной регрессии:

Построить уравнение множественной линейной регрессии для зависимой переменной «Заболевания зубов» и независимых переменных «Возраст», «Периодичность чистки зубов».
Пример:

Выполнение команды:
Analyze ? Regression ? Linear
В поле Dependent
Имя зависимой переменной
В поле Independent(s)
Имена независимых переменных
Дополнительные вычисления аналогичны парной регрессии
Множественная линейная регрессия

В случае множественной регрессии можно использовать установленный по умолчанию метод Enter (включения всех переменных в модель одновременно)
или специальный пошаговый метод Stepwise (модель строиться не для всех исходных причин сразу, а пошагово в модель включаются новые причины, оговоренные в условии)
Выбор метода анализа

Корреляционная таблица

Результаты множественной линейной регрессии (метод Enter)
Уравнение множественной регрессии
у=2,461+0,033возраст - 0,05щетки – 0,528чистки
Стандартизованное уравнение множественной регрессии
у=0,439возраст - 0,153щетки – 0,282чистки

Качество множественной линейной регрессии. Метод Enter

Результаты множественной линейной регрессии (метод Stepwise)