Парная регрессия и корреляция. Тема 2

Тема 2. Парная регрессия и корреляция
2.1. Основные цели и задачи регрессионного анализа
2.2. Постановка задачи, основные предположения регрессионного анализа
2.3. Парная линейная регрессия и метод наименьших квадратов
2.4. Меры вариации в уравнении регрессии
2.5. Проверка гипотез в модели парной регрессии
2.6. Прогнозирование в регрессионных моделях

Виды связи между явлениями
(переменными Y и X):
Функциональная (жестко детерминированная). ПеременныеY и X являются неслучайными, значения Y полностью определяются соответствующими значениями X, т.е.Y является некоторой функцией от переменной X (например, зависимость длины окружности от радиуса).
Стохастическая (случайно детерминированная). Зависимость Y от X проявляется в среднем (в массе случаев). В каждом отдельном случае может не проявиться в силу случайных обстоятельств. Это зависимость среднего значения Y от изменения X (например, зависимость потребления мяса от дохода):
- Регрессионная. Y является случайной переменной, а X – неслучайной.
- Корреляционно-регрессионная. Y и X являются случайными по своей сущности.

По направлению связи различают:
а) прямую;
б) обратную.

По виду аналитической функции
различают:
а) линейную связь;
б) нелинейную связь.

Постановка задачи регрессии
Будем предполагать, что объясняющая переменная X оказывает воздействие на значения переменной Y, которая, таким образом, является зависимой переменной, т.е. имеет место зависимость
Y=f(X)

Постановка задачи регрессии
Пусть мы располагаем n парами выборочных наблюдений над двумя переменными X и Y: X1, …, Xn; Y1, …, Yn
Функция f(X) называется функцией регрессии Y по X, если она описывает изменение условного среднего значения результирующей переменной Y в зависимости от изменения значений объясняющей переменной X:
f(X)=E(Y | X).

Модель регрессии между Y и X имеет вид
Yi =f(Xi)+εi,
i=1,…,n,
f(X) - функция регрессии Y по X
ε – случайная составляющая (случайный член, возмущение).

Выбор вида аналитической функции f(X)
используется априорная информация о содержательной экономической сущности анализируемой зависимости – аналитический способ,
предварительный анализ зависимости с помощью визуализации – графический способ,
использование различных статистических приемов обработки исходных данных и экспериментальных расчетов.

Парная линейная регрессия и корреляция
Пусть функция f – линейная.
Тогда модель парной линейной регрессии примет вид:
Yi = β0+β1Xi+εi,
i=1,…,n,
где:
β0 - свободный член (константа);
β1 – коэффициент регрессии;
ε – случайная составляющая.

Показатели направления и степени тесноты связи
Для того чтобы иметь основание включить объясняющую переменную X в модель регрессии, необходимо, чтобы между переменными X и Y существовала значимая статистическая связь.
Для оценки направления и степени тесноты статистической связи используются коэффициенты ковариации, корреляции, эмпирическое и теоретическое корреляционные отношения.
Направление линейной связи можно определить с помощью линейного коэффициента ковариации.
Направление и степень тесноты линейной связи – с помощью линейного коэффициента корреляции К.Пирсона.

Коэффициент ковариации

Для выявления влияния стажа работы (X) в годах на выработку (Y) в штуках в смену из большого количества рабочих отобраны 5 человек. Ниже приведены результаты обследования.

Задание
Оценить параметры модели парной линейной регрессии;
Записать уравнение регрессии;
Проверить значимость уравнения регрессии в целом;
Проверить значимость оценок параметров модели регрессии;
Найти границы 95%-ных доверительных интервалов параметров линейной модели регрессии;
Дать интерпретацию полученных результатов.

Рассчитать:
Среднюю арифметическую
Моду
Медиану
Дисперсию: а) неисправленную; б) исправленную
Среднее квадратическое отклонение
Коэффициент вариации
Коэффициент асимметрии
Коэффициент эксцесса
Коэффициент ковариации
Коэффициент корреляции
Коэффициент детерминации

Расчет коэффициента ковариации

Линейный коэффициент корреляции К.Пирсона

Дисперсия

Дисперсия

Cреднее квадратическое отклонение

Cреднее квадратическое отклонение

Линейный коэффициент корреляции К.Пирсона

Коэффициент детерминации

Коэффициент детерминации показывает, какая часть колеблемости (вариации) Y объясняется колеблемостью (вариацией) X.
Коэффициент детерминации показывает, на сколько процентов Y зависит от X.

Проверка значимости коэффициента корреляции
Формулируем гипотезы
(линейной корреляцонной связи между X и Y нет; коэффициент корреляции не значим)
(между X и Y есть линейная корреляцонная связь; коэффициент корреляции значим)

Устанавливаем уровень значимости α

Находим наблюдаемое значение критерия

Находим наблюдаемое значение критерия

Находим критическое значение критерия по таблице Стьюдента по уровню значимости α и по числу степеней свободы k=n-m

Критические точки распределения Стьюдента

Если |tнабл.| > tкр., то нулевая гипотеза отклоняется в пользу альтернативной о статистической значимости коэффициента корреляции.
Если |tнабл.| ≤ tкр., оснований отклонять нулевую гипотезу нет.

С надежностью, большей 0,95, и риском ошибиться, меньшим 0,05, можно утверждать, что между X и Y (между стажем и выработкой) в генеральной совокупности (для всех рабочих) существует линейная корреляционная связь.
3,58 > 3,18

Доверительный интервал коэффициента корреляции в генеральной совокупности

С надежностью 0,95 и риском ошибиться 0,05 можно утверждать, что коэффициент корреляции между X и Y (между стажем и выработкой) в генеральной совокупности (для всех рабочих) находится в интервале от 0,1 до 1.

Модель парной линейной регрессии
Y = β0+β1X+ε,
где:
β0 - свободный член (константа);
β1 – коэффициент регрессии;
ε – случайная составляющая.

Задачи регрессионного анализа
Для любых значений объясняющей переменной X построить наилучшие по некоторому критерию оценки для неизвестной функции f(X).
По заданным значениям объясняющей переменной X построить наилучший по некоторому критерию прогноз для неизвестного значения результирующей переменной Y(X).

Эмпирическое уравнение регрессии:

Модель и уравнение регрессии

Если связь между переменными X и Y функциональная, наблюдения будут в точности лежать на прямой линии.

В действительности, большинство экономических связей не являются функциональными и наблюдаемые значения Y отличаются от тех, которые лежат на одной прямой.

На практике мы наблюдаем только точки P.

Очевидно, мы можем использовать точки P для поиска линии, которая приближает Y = β0 + β1X+ε. Если записать уравнение прямой то будет оценкой β0 и оценкой β1.

Уравнение регрессии – лишь оценка модели регрессии.

y
x
)

y
x
Метод наименьших квадратов

Принцип метода наименьших квадратов
(МНК) заключается в выборе таких оценок b0 и b1, для которых сумма квадратов остатков (ошибок) (e) для всех точек становится минимальной.

Для определения оценок параметров модели регрессии b0 и b1 необходимо минимизировать выражение:

Отсюда получим формулы расчета оценок параметров модели регрессии

Для выявления влияния стажа работы (X) в годах на выработку (Y) в штуках в смену из большого количества рабочих отобраны 5 человек. Ниже приведены результаты обследования.

Расчет оценок параметров модели регрессии

Уравнение регрессии

Интерпретация коэффициента регрессии
Коэффициент регрессии b1 показывает на сколько единиц увеличится (уменьшится) в среднем значение зависимой переменной Y (в единицах измерения переменной Y) при увеличении (уменьшении) значения объясняющей переменной Х на одну единицу (в единицах измерения переменной Х).

Интерпретация константы
Константа b0 показывает базисный (начальный) уровень, т.е. значение зависимой переменной Y при условии, что объясняющая переменная Х равна нулю.
В случае, если такая интерпретация лишена экономического смысла, константа интерпретируется как параметр, отражающий агрегированное влияние переменных, не включенных в модель.

Интерпретация коэффициента регрессии
Коэффициент регрессии b1 показывает, что при увеличении стажа на 1 год выработка в среднем увеличится на 1,8 штуки в смену.

Интерпретация константы
Константа b0 показывает, что средняя выработка рабочего, не имеющего стажа, составит 0,6 штуки в смену.

Проверка статистической значимости уравнения регрессии в целом.
Y не зависит от всех X, включенных в модель (уравнение в целом не значимо)
Y зависит от всех X (вместе взятых), включенных в модель (уравнение в целом значимо)
Сформулируем гипотезы:

Устанавливаем уровень значимости α

Найдем наблюдаемое значение критерия
где n – число наблюдений,
m – число параметров в модели регрессии (для парной регрессии m=2)

Расчет SSR, SSE и SST

Расчет SSR, SSE и SST

Найдем наблюдаемое значение критерия

По таблице распределения Фишера найдем критическое значение критерия:

Если Fнабл.>Fкр., то нулевая гипотеза отклоняется в пользу альтернативной о статистической значимости уравнения регрессии в целом. Если Fнабл.≤Fкр., оснований отклонять нулевую гипотезу нет.

12,79>10,13
С надежностью, большей 0,95, и риском ошибиться, меньшим 0,05, можно утверждать, что Y (выработка) зависит от всех Х, включенных в модель (от стажа).

Проверка статистической значимости коэффициента регрессии
Сформулируем гипотезы
Y не зависит от данного конкретного X (коэффициент регрессии не значим)
Y зависит от данного конкретного X (коэффициент регрессии значим)

Устанавливаем уровень значимости α

Находим наблюдаемое значение критерия

Стандартная ошибка уравнения регрессии

Стандартная ошибка коэффициента регрессии

Находим наблюдаемое значение критерия

Находим критическое значение критерия по таблице Стьюдента по уровню значимости α и по числу степеней свободы k=n-m

Критические точки распределения Стьюдента

Если |tнабл.|>tкр.,то нулевая гипотеза отклоняется в пользу альтернативной о статистической значимости коэффициента регрессии.
Если |tнабл.|≤ tкр., оснований отклонять нулевую гипотезу нет.

3,58>3,18
С надежностью, большей 0,95, и риском ошибиться, меньшим 0,05, можно утверждать, что Y (выработка) зависит от данного конкретного Х (от стажа).

Проверка статистической значимости константы
Сформулируем гипотезы
Константа не значима (незначимо отличается от 0)
Константа значима (значимо отличается от 0)

Устанавливаем уровень значимости α

Наблюдаемое значение критерия

Стандартная ошибка константы:

Наблюдаемое значение критерия

Находим критическое значение критерия по таблице Стьюдента по уровню значимости α и по числу степеней свободы k=n-m

Если |tнабл.|>tкр.,то нулевая гипотеза отклоняется в пользу альтернативной о статистической значимости константы.
Если |tнабл.|≤ tкр., оснований отклонять нулевую гипотезу нет.

0,36 < 3,18
На уровне значимости α=0,05 константа не значима.

Доверительные интервалы неизвестных значений β1 и β0

Доверительный интервал неизвестного значения β1

С надежностью 0,95 и риском ошибиться 0,05 можно утверждать, что коэффициент регрессии в генеральной совокупности (для всех рабочих) находится в интервале от 0,2 до 3,4.
При увеличении стажа на 1 год выработка в среднем увеличится от 0,2 до 3,4 штуки в смену.
Так как интервал не включает 0, коэффициент регрессии значим.

Доверительный интервал неизвестного значения β0

С надежностью 0,95 и риском ошибиться 0,05 можно утверждать, что константа в генеральной совокупности (для всех рабочих) находится в интервале от -4,71 до 5,91.
Так как интервал включает 0, константа не значима.

Точечный прогноз по уравнению регрессии

Точечный прогноз по уравнению регрессии

X
Y

Интервальный прогноз неизвестного среднего генерального значения Y

Интервальный прогноз неизвестного среднего генерального значения Y

С надежностью 0,95 можно утверждать, что средняя выработка рабочих со стажем 2.5 года находится в интервале от 2,7 до 7,5 шт.

Интервальный прогноз неизвестного индивидуального значения Y

Интервальный прогноз неизвестного индивидуального значения Y