Корреляция и регрессия

Примеры
Менеджер интересуется, зависит ли объем продаж в этом месяце от объема рекламы в этом же периоде?
Преподаватель хочет выяснить, есть ли зависимость между количеством часов, потраченных студентом на занятия, и результатами экзамена?
Врач исследует, влияет ли кофеин на сердечные болезни и существует ли связь между возрастом человека и его кровяным давлением?
Зоолог стремится узнать, есть ли связь между весом определенного животного при рождении и его продолжительностью жизни.
Социолог исследует, какова связь между уровнем преступности и уровнем безработицы в регионе? Есть ли зависимость между расходами на жилье и совокупным доходом семьи? Связаны ли доход от профессиональной деятельности и продолжительность образования?
На эти вопросы можно ответить, используя методы корреляционного и регрессионного анализа, рассмотренные в материалах этой лекции.

Постановка проблемы
Наша цель – научиться отвечать на четыре вопроса:
Вопрос 1. Существует ли связь между двумя или более переменными?
Вопрос 2. Какой тип имеет эта связь?
Вопрос 3. Насколько она сильна?
Вопрос 4. Какой можно сделать прогноз, основываясь на этой связи?

Методы
Корреляция – статистический метод, позволяющий определить, существует ли зависимость между переменными и на сколько она сильна.
Регрессия – статистический метод, который используется для описания характера связи между переменными (положительная или отрицательная, линейная или нелинейная зависимость).

Простая и множественная связь
Множественная связь означает изучение несколько переменных.
Простая связь означает изучение двух переменных.
Стаж менеджера
по продажам
на фирме
Годовой объем
продаж
Успеваемость
студента
Успеваемость
в школе
Время
на занятия
Коэффициент
IQ

Визуальный анализ связи
Рассматриваем две переменные: «продолжительность занятий» студентов перед экзаменом и «итоговая оценка» (из 100 балов). Пытаемся визуально определить связь. Правда ли, что чем меньше времени занятий, тем выше оценка?

Независимая и зависимая переменные
Независимая переменная – это та переменная в регрессии, которую можно изменять. В данном случае, переменная «количество часов занятий» является независимой и обозначается как переменная х.
Зависимая переменная – это переменная в регрессии, которую нельзя изменять. «Экзаменационная оценка» является зависимой переменной. Она обозначается у.
Причиной такого разделения переменных является то, что предполагается, что оценка, которую получает студент, зависит от количества часов, которые он посвятил занятиям. Предполагается также, что студенты могут регулировать количество часов, которое они тратят на занятия.
Не всегда можно ясно определить, какая переменная зависимая, а какая независимая, и выбор иногда делается произвольно.

Положительная и отрицательная зависимость
Визуально видно, что имеет место линейная зависимость, которая отрицательна. Это означает, что увеличение переменной x приводит к уменьшению второй переменной y.

Нелинейная зависимость
График показывает, что имеется зависимость, которая не является линейной. Возможно, эта зависимость квадратичная или какая-то иная.

Отсутствие зависимости
График сообщает нам об отсутствии зависимости продолжительности занятий в неделю от количества выпиваемого пива (в бутылках).

*
12.1. Корреляция
Связь между двумя переменными

Коэффициент корреляции
Коэффициент корреляции измеряет силу и направление связи между двумя переменными.
Обозначения:
Выборочный коэффициент корреляции r
Коэффициент корреляции генеральной совокупности ρ

Значения коэффициента корреляции
Коэффициент корреляции изменяется на отрезке от –1 до +1.
Если между переменными существует сильная положительная связь, то значение r будет близко к +1.
Если между переменными существует сильная отрицательная связь, то значение r будет близко к –1.
Когда между переменными нет линейной связи или она очень слабая, значение r будет близко к 0.
-1
+1
0
Сильная
отрицательная
связь
Сильная
положительная
связь
Отсутствие
связи

Формула для вычисления r
Коэффициент корреляции вычисляется по формуле:
Это, так называемый, коэффициент корреляции Пирсона, равный произведению моментов. Он назван по имени статистика Карла Пирсона, который первый провел исследования в этой области.

Вторая формула для вычисления r
После несложных преобразований, из первой формулы можно получить другую формулу для коэффициента.
Как мы увидим, она более пригодна для вычисления коэффициента при помощи таблиц.

Пример вычисления
Вычислим коэффициент корреляции для примера со студентами.

Шаг 1. Достроим таблицу
Достраиваем таблицу тремя столбцами и итоговой строкой. Проводим необходимые вычисления.

Шаги 2-3. Подставим в формулу, получим ответ
Подставим данные в формулу и найдем r :
Ответ. Значение коэффициента корреляции равно 0,922. Это означает, что существует сильная положительная связь. Мы видели эту связь графически.

*
12.2. Значимость коэффициента корреляции
Проверка гипотезы

Постановка проблемы
Коэффициент корреляции генеральной совокупности ρ – это корреляция, вычисленная с использованием всевозможных пар значений признаков (х,у) генеральной совокупности.
Требуется
Оценить коэффициент корреляции генеральной совокупности ρ на основе значения коэффициента корреляции выборки r.
Условия
Выборочный коэффициент корреляции r используется для оценки ρ, если выполнены следующие предположения:
Переменные х и у линейно зависимы
Переменные являются случайными
Обе переменные имеют нормальное распределение

Последовательность действий
Чтобы принять верное решение, воспользуемся процедурой проверки гипотезы. Она включает традиционные пять шагов:
Шаг 1. Сформулировать гипотезы.
Шаг 2. Построить критическую область.
Шаг 3. Вычислить значение критерия.
Шаг 4. Сравнить, принять решение.
Шаг 5. Написать ответ.

Гипотезы
Гипотезы сформулированы следующим образом.
Основная гипотеза Н0: ρ = 0
Альтернативная гипотеза Н1: ρ ≠ 0
Основная гипотеза утверждает, что не существует корреляции между признаками х и у в генеральной совокупности. Альтернативная гипотеза утверждает, что корреляция между признаками х и у в генеральной совокупности значима.
Когда основная гипотеза отвергается на определенном уровне значимости, это значит, что существует значимое различие между значением r и 0. Когда основная гипотеза принимается, это значит, что значение r не сильно отличается от 0 и является случайным.

Статистика и критическая область
Для проверки гипотезы используется t-критерий с df = n – 2 степенями свободы:
Границы двусторонней критической области находятся при помощи таблиц значений t-распределения.

Пример
Задача. Рассчитан коэффициент корреляции и его значение оказалось равно 0,897. Выборка содержала 6 пар. На уровне значимости 0,05 проверить гипотезу о значимости коэффициента корреляции.
Решение.
Шаг 1. Н0: ρ = 0 Н1: ρ ≠ 0
Шаг 2. Критическая область: α = 0,05, df = 6 – 2 = 4. Критические значения по таблице равны ±2,776.
Шаг 3. Статистика по выборке:

Решение
Шаг 4. Сравниваем значение статистики с критической областью. Нулевую гипотезу отвергаем, так как значение критерия попадает в область критических значений.
Шаг 5. Делаем вывод, что существует значимая связь между признаками.

Корреляция и причинная связь
Когда проверка гипотезы показывает, что существует значимая линейная связь между переменными, исследователи должны рассмотреть возможные виды связи между переменными и выбрать ту, которая диктуется логикой данного исследования.

Пять видов связи между переменными
1. Прямая причинно-следственная связь между переменными (х определяет у). Наличие воды ускоряет рост растений, яд вызывает смерть, жара – таяние льда.
2. Обратная причинно-следственная связь между переменными (у определяет х). Исследователь может думать, что чрезмерное потребление кофе вызывает нервозность. Но, может быть, очень нервный человек хочет кофе, чтобы успокоить свои нервы?
3. Связь между переменными вызвана третьей переменной. Исследователь установил, что существует некая зависимость между числом утонувших людей и числом выпитых безалкогольных напитков в летнее время. Может быть, обе переменные связаны с жарой и потребностью во влаге?
4. Взаимосвязь между несколькими переменными. Исследователь может обнаружить значимую связь между оценками студентов в университете и оценками в школе. Но, возможно, действуют и другие переменные: IQ, количество часов занятий, влияние родителей, мотивация, возраст, авторитет преподавателей.
5. Зависимость случайна. Исследователь может найти значимую зависимость между увеличением количества людей, которые занимаются спортом и увеличением количества людей, которые совершают преступления. Но здравый смысл говорит, что любая связь между этими двумя переменными должна быть случайной.

*
12.3. Регрессия

Исследование зависимости
На графическом изображении видно, что с увеличением роста увеличивается и вес. Зависимость имеет приближенно линейный характер. Значения переменных колеблются вокруг некоей гипотетической прямой линии, которая называется линией регрессии. Как её построить?

Какая прямая наилучшая?
Наши данные представляют собой пары (x, y). Тем самым, для каждого x имеется некоторое значение y. Кроме того, для каждого x существует соответствующее ему значение линейной функции y = ax + b. Сравним их.
Расстояние между этими значениями должно быть минимально.

Сумма квадратов разностей минимальна…
Расстояние между этими значениями должно быть минимально.

Ищем коэффициенты уравнения y = ax + b
В каком случае расстояние минимально?
Сумма зависит только от двух параметров - a и b, используем метод наименьших квадратов.

Коэффициенты a и b
Два уравнения, которые мы получим после нахождения двух частных производных, представляют систему с двумя неизвестными. Из этой системы находятся коэффициенты, которые мы ищем:
Наклон прямой
Смещение прямой вдоль оси Y

Формулы для вычислений в таблице
Для табличный вычислений более удобны следующие формулы:

Пример вычисления
Найдем линейное уравнение регрессии для нашего примера.

Шаг 1. Достроим таблицу
Достраиваем таблицу тремя столбцами и итоговой строкой. Проводим необходимые вычисления.
Абсолютно также! То есть – можно не делать!

Шаги 2-3. Подставим в формулы, получим ответ
Подставим полученные в таблице значения в формулы для a и b:
Ответ. Получили уравнение «наилучшей прямой»:
y = 5,6 x + 54,5

Интерпретация
1. Увеличение времени подготовки на 1 час приводит к улучшению результата на 5,6 балла.
2. Чтобы улучшить результат на 10 баллов, нужно заниматься на 1,8 часа больше.
3. Если не заниматься вообще – получишь 54,5 балла.
4. Чтобы получить 100 баллов, нужно заниматься 8,1 часов.
Выходим за границы
анализируемой области!
y = 5,6 x + 54,5

Отчет из SPSS
Отчет о расчете коэффициентов регрессии, полученный из SPSS.

Будьте осторожны с прогнозами!
Когда прогнозы распространяются за пределы исследуемых данных, интерпретировать результаты необходимо с особой осторожностью.
В 1979 году некоторые эксперты предсказывали, что в США к 2003 году запасы нефти будут исчерпаны. Этот прогноз основывался на уровне потребления нефти, характерного для того времени, и на знании объема имевшихся запасов. Однако с тех пор автомобильная промышленность выпустила много энергоемких машин. Также, существуют множество все еще неоткрытых нефтяных месторождений. Наконец, когда-нибудь наука откроет, как использовать другие виды топлива для автомобилей, что-нибудь вроде арахисового масла.
Помните, что, когда делаются прогнозы, они основываются на текущих условиях или на предположении, что существующие ныне тенденции продолжатся в будущем. Это предположение может оправдаться или не оправдаться.

*
12.4. Надежность прогноза

Регрессионное исследование
Уже научились:
Шаг 1. Графически изобразить пары значений (x, y).
Шаг 2. Если визуально просматривается связь, найти коэффициент корреляции.
Шаг 3. Оценить значимость коэффициента корреляции.
Шаг 4. Если коэффициент значим, то найти уравнение регрессии.
Шаг 5. Построить разумные прогнозы: для значения независимой переменной х предсказать значение зависимой переменной у.
Научимся:
Шаг 6. Оценить надежность прогноза: найти коэффициент детерминации, стандартную ошибку оценки и интервал предсказания.

Наблюдаемые и предсказываемые значения
Наблюдаемое
значение
Предсказываемое
значение
Среднее
значение

Объяснимое и необъяснимое отклонение
Необъяснимое отклонение
Объяснимое отклонение
Общее отклонение

Вариация в регрессионной модели
Общее отклонение есть сумма объяснимой и необъяснимой вариации:
Общая
вариация
Объяснимая
вариация
Необъяснимая
вариация

Пример
Рассчитаем общее отклонение, объяснимую и необъяснимую вариацию.

Коэффициент детерминации
Коэффициент детерминации вычисляется как отношение объяснимой вариации к общей вариации:
Коэффициент детерминации – это мера вариации зависимой переменной, которая определяется линией регрессии и независимой переменной. Коэффициент обозначается r2.

Пример
Вычислим на основе результатов, полученных в таблице:

Интерпретация коэффициента детерминации
Значение коэффициента детерминации можно получить, если возвести в квадрат коэффициент корреляции.
Если r = 0,922, то r2 = 0,85 или 85%. Это означает, что 81% вариации зависимой переменной определяется вариацией независимой переменной.
Оставшиеся 19% – необъяснимая или случайная вариация. Это значение называется коэффициентом недетерминации и находится вычитанием коэффициента детерминации из единицы.
По мере того, как r приближается к нулю, значение r2 уменьшается еще быстрее. Например, если r = 0,6, то r2 = 0,36, то есть только 36% вариации зависимой переменной могут быть связаны с вариацией независимой переменной.

Стандартная ошибка оценки
Стандартная ошибка оценки – это стандартное отклонение наблюдаемых значений у от предсказываемых значений у’:
Стандартная ошибка оценки схожа со стандартным отклонением выборки, но не использует среднее значение. Чем ближе наблюдаемые значения к предсказываемым, тем меньше стандартная ошибка оценки.

Пример
Рассчитаем стандартную ошибку оценки в нашем примере:

Вторая формула для стандартной ошибки
Стандартную ошибку можно также вычислять по формуле:
Эта формула более пригодна для табличный вычислений.

Интервал предсказания
Когда конкретное значение х подставляется в уравнение регрессии, мы получаем предсказанное значение у′, которое является точечной оценкой для у. Так как это точечная оценка, трудно сказать насколько точной она является.
Возможно построить для оценки интервал предсказания. Выбрав значение α, мы получаем интервал, который с вероятностью (1 – α) содержит реальное значение у.

Пример
Сколько баллов получит студент, занимавшийся 4 часа?
Решение.
Шаг 1. Провели необходимые вычисления в таблице
Шаг 2. Нашли у′ = 5,6·4 + 54,5 = 76,9
Шаг 3. Нашли стандартную оценку ошибки sest =5,08
Шаг 4. Нашли t-значение α=0,95 и df = 6 – 2 = 4. Получили t=2,776
Шаг 5. Нашли E:

Пример
Шаг 6. Подставили в формулу интервала:
Ответ. Прогнозируемое значение баллов, которое может получить студент при 4 часах подготовки, находится с вероятностью 95% в интервале:

Задание на 5 минут
Можно ли при помощи χ2 критерия проверить гипотезу о том, является ли распределение биномиальным? Если да, то каким образом? Если нет, то почему?

Задачи
12-1. Исследователь хочет определить, существует ли связь между возрастом человека и тем, сколько часов в день он или она смотрит телевизор.

Задачи
12-2. Президент ассоциации выпускников знаменитого колледжа хочет определить, есть ли какая либо взаимосвязь между размерами вносимых бывшими учениками благотворительных пожертвований, и количеством лет, прошедших после того, как они закончили колледж.

Задачи
12-3. Менеджер магазина хотел бы узнать существует ли какая-либо связь между возрастом работников и количеством больничных, которые они берут каждый год.
12-4. Преподавателю необходимо узнать, насколько сильна связь между IQ студента и средним получаемым им баллом.

Задачи
12-5. Исследователь хочет определить, есть ли связь между тем, сколько лет уже прослужила копировальная машина, и тем, во сколько обходится ее ремонтное обслуживание в течение месяца.

Задачи
12-6. Вычислите значение r для следующих данных и проверьте гипотезу
Н0: ρ = 0
Нарисуйте график.
Проинтерпретируете результаты.

Задачи
В задачах 12-7 по 12-10 проведите регрессионный анализ:
а) Нарисуйте график.
б) Вычислите значение коэффициента корреляции.
в) Сформулируйте нулевую и альтернативную гипотезы.
г) Проверьте их на уровне значимости α = 0,05.
д) Найдите уравнение регрессии.
е) Нарисуйте линию регрессии на графике рассеивания.
ж) Сделайте выводы.

Задачи
12-7. Было проведено исследование легочных заболеваний. Полученные данные дают информацию о том, сколько лет человек курит и насколько сильно повреждены его легкие (в процентах). Сделайте прогноз относительно того, насколько будут повреждены легкие человека, который курит уже в течение 30-ти лет.

Задачи
12-8. Преподаватель статистики заинтересован в том, чтобы узнать силу связи между баллами, полученными на выпускных экзаменах студентами, проходившими обучение в первой и во второй группах по статистике. Данные в процентах в таблице.

Задачи
12-9. Преподаватель стремится понять, как число пропущенных студентом занятий влияет на его итоговый балл. Данные выборки в таблице.

Задачи
12-10. Было проведено исследование, нацеленное на то чтобы выявить, как зависит от ежемесячного дохода человека то, сколько он готов потратить на развлечения. Данные выборки (в долларах) в таблице.