Модель парной регрессии

Простейшая регрессионная модель:
y=α+βx+u
у - зависимая переменная, объясняемая, регрессант
х – независимая переменная,
объясняющая, регрессор
α и β — параметры модели
U – случайная составляющая

Р1
Р2
Р3
Р4
*
*
*
*
Х1
Х2
Х3
Х4
Q1
Q2
Q3
Q4
х
х
х
х
(α+βx1)
U1
Y

Величина у - зависимая переменная, состоит из двух частей:
Неслучайной составляющей – (α+βx),
2) Случайной составляющей - u.

Точки Р1, Р2, Р3 и Р4 – это фактические или наблюденные значения.
Точки Q1, Q2, Q3 и Q4 – это теоретические значения, т.е. в отсутствии случайной компоненты.

Задача регрессионного анализа состоит в нахождении оценок α и β и в определении положения регрессионной прямой по известным или наблюденным значениям X и Y при неизвестных значениях U

Метод наименьших квадратов
МНК является наиболее популярным методом нахождения оценок неизвестных параметров. Критерий выбора наилучших параметров: минимизация суммы квадратов остатков.

Остаток или отклонение (е) – разница между наблюдаемым значением переменной Y и ее теоретическим значением в каждом наблюдении, т.е. при каждом значении X.

Критерий оптимизации:
Предположим, что между Y и X существует прямая связь, т.е.

Тогда можно записать:

Функция принимает свое минимальное значение в точке, где все ее частные производные равны нулю

Данная система называется
системой нормальных уравненний,
решая эту систему относительно a и b,
мы получаем рабочие формулы
для нахождения оценок
неизвестных параметров α и β исходного
уравнения.

Формулы для нахождения оценок a и b:

Причины существования случайной компоненты

1. Не включение объясняющих переменных
Соотношение между у и х - очень большое упрощение. Существуют и другие факторы, влияющие на у, которые не учтены в модели. Влияние этих факторов приводит к тому, что наблюдаемые точки лежат вне прямой.

Невозможность измерения.
Слабое влияние фактора.
Отсутствия опыта или знаний.

Во многих случаях зависимость — это попытка объединить вместе некоторое число микроэкономических соотношений. Отдельные соотношения имеют разные параметры, любая попытка определить соотношение между ними является лишь аппроксимацией.
2. Агрегирование переменных

Если зависимость относится к данным о временном ряде, то значение Y может зависеть не от фактического значения Х, а от значения, которое ожидалось в предыдущем периоде.
3. Неправильное описание структуры модели

Если ожидаемое и фактическое значения тесно связаны, то будет казаться, что между Y и X существует зависимость, но это будет лишь аппроксимация.

Функциональное соотношение между Y и X математически может быть определено неправильно. Истинная зависимость может не являться линейной, а быть более сложной.
4. Неправильная функциональная спецификация

Если в измерении одной или более взаимосвязанных переменных имеются ошибки, то наблюдаемые значения не будут соответствовать точному соотношению.
5. Ошибки измерения

Случайная компонента является суммарным проявлением всех факторов. Если бы случайной компоненты не существовало, то мы бы знали, что любое изменение Y вызвано только изменением X и смогли бы точно вычислить β.

Однако в действительности каждое изменение Y отчасти вызвано изменением U. Поэтому мы не можем вычислить истинные значения параметров (α и β), а можем определить лишь их оценки, т.е. приближенные значения (a и b).

Свойства коэффициентов регрессии и условия нормальной линейной регрессии (Гаусса-Маркова)

Фактическое значение Y состоит из двух элементов: из неслучайной части и случайной компоненты, поэтому вычисленные оценки а и b также состоят из двух элементов. Неслучайной частью для а является α, для b – β.
Следовательно, свойства коэффициентов регрессии существенным образом зависят от свойств случайной компоненты.

Для того чтобы регрессионный анализ, основанный на обычном МНК, давал наилучшие результаты, случайный член должен удовлетворять четырем условиям, известным как условия Гаусса—Mapкова.

1-е условие Гаусса—Маркова
Математическое ожидание случайной компоненты в любом наблюдении должно быть равно нулю. Иногда величина случайной компоненты будет положительной, иногда отрицательной, но она не должена иметь систематического смещения ни в одном из двух возможных направлений.

Фактически если уравнение регрессии включает константу, то можно предположить, что это условие выполняется автоматически, так как роль константы состоит в определении любой систематической тенденции в поведении Y, которую не учитывают объясняющие переменные, включенные в уравнение регрессии.

2-е условие Гаусса—Маркова
Дисперсия случайной компоненты должна быть постоянна для всех наблюдениях. Иногда случайная компонента будет больше, иногда меньше, однако не должно быть априорной причины для того, чтобы она порождала большую ошибку в одних наблюдениях, чем в других.

Если это условие выполняется, то говорят, что дисперсия ошибки гомоскедастична,
если нет, то - гетероскедастична.

3-е условие Гаусса—Маркова
Даное условие предполагает отсутствие систематической связи между значениями случайной компоненты в любых двух наблюдениях. Например, если случайная компонента велика и положительна в одном наблюдении, это не должно обусловливать систематическую тенденцию к тому, что она будет большой и положительной в следующем наблюдении

Или большой и отрицательной, или малой и положительной, или малой и отрицательной.
Случайные компоненты должна быть абсолютно независимы друг от друга.

Выполнение данного условия гарантирует
отсутствие автокорреляции.
В противном случае, говорят, что
случайная компонета автокоррелирована.

4-е условие Гаусса—Маркова:
Случайная компонента должна быть распределена независимо от объясняющих переменных.

Наряду с условиями Гаусса—Маркова обычно также предполагается нормальность распределения случайного члена. Если случайный член нормально распределен, то так же будут распределены и коэффициенты регрессии. Предположение о нормальности основывается на центральной предельной теореме:
Предположение о нормальности:

«Если случайная величина является общим результатом взаимодействия большого числа других случайных величин, ни одна из которых не является доминирующей, то она будет иметь приблизительно нормальное распределение, даже если отдельные составляющие не имеют нормального распределения».

Интерпретация линейного уравнения регрессии
ŷ=а+bx
Оценки a и b имеют математическую и экономическую интерпретацию.
Математическая:
Коэффициент а называется регрессионной постоянной или const. Это значение ŷ, в том случае когда х=0. Геометрически это точка с координатами: (0,а)

Коэффициент b – коэффициент регрессии – это тангенс угла наклона к оси OX.

a
γ
tg γ=b
X
0
Y

Экономическая:
а – регрессионная постоянная, const
Дает прогнозное значение у, в том случае, когда факторный признак равен нулю. Экономически это может иметь или не иметь ясного смысла.

b – коэффициент регрессии
Показывает на сколько изменится значение у (в единицах измерения у), если х возрастет на одну единицу (в единицах измерения x) от своего среднего уровня.

По группе предприятий, выпускающих один
и тот же вид продукции, рассматривается функция издержек
y=α+βx+u ,
где x – объем выпуска продукции (тыс.шт.),
Y – затраты на производство (млн.руб.)

Оценив параметры модели методом наименьших
квадратов, получим следующее уравнение:

В данном случае величина параметра a
не имеет экономического смысла.
Параметр b показывает, что если выпуск продукции
возрастет на одну тысячу штук (от своего среднего уровня), то затраты на производство увеличатся на 36,84 млн.руб.

ŷ=3,87+0,418*х
х – доход (руб.)
у – сливочное масло (г/сут.)
Суточное потребление сливочного масла в обследованных семьях связано с доходом потребителя
прямолинейной регрессией следующим образом:

a > 0
b < 0

a < 0
b < 0

a > 0
b = 0

Определение тесноты связи между факторами
В качестве меры тесноты связи используется линейный коэффициент корреляции:

где

Линейный коэффициент корреляции может принимать любые значения в пределах от минус 1 до плюс 1. Чем ближе коэффициент корреляции по абсолютной величине к 1, тем теснее связь между признаками.
Знак при линейном коэффициенте корреляции указывает на направление связи - прямой зависимости соответствует знак плюс, а обратной зависимости - знак минус.

Если сравнить формулы для расчета коэффициентов регрессии и корреляции, то можно увидеть, что между этими коэффициентами существует связь

Можно выразить коэффициент корреляции через
коэффициент регрессии:
Если b < 0 => -1 ≤ r < 0
Если b > 0 => 0 < r ≤ 1

r = 0 ==> связь между х и у отсутствует
0 <│r│≤ 0,3 => связь практически отсутствует
0,3 <│r│≤ 0,5 => слабая связь между х и у.
0,5 <│r│≤ 0,7 => средняя (умеренная связь).
0,7 <│r│< 1 => сильная связь.
│r│ =1 => функциональная связь.

d – коэффициент детерминации.
Коэффициент детерминации показывает на сколько процентов изменение у обусловлено изменением х.

Оставшаяся доля приходится на влияние прочих факторов, не учтенных в модели.

Для интерпретации полученных результатов можно также использовать коэффициент эластичности, который показывает насколько процентов в среднем изменится значение результативного признака, если факторный признак увеличится на один процент.

В силу того, что коэффициент эластичности для линейной функции не является величиной постоянной, а зависит от соответствующего значения x, то обычно рассчитывается средний
показатель эластичности по формуле:

В нашем примере коэффициент эластичности равен 1,03 %.
Это означает, что с ростом выпуска продукции на 1 % затраты на производство в среднем увеличатся на 1,03 %.

Коэффициент корреляции также как и коэффициент регрессии должен быть подвергнут оценке статистической значимости. Для этого, сначала рассмотрим разложение общей дисперсии на объяснимую (факторную) и необъяснимую (остаточную).
коэффициент корреляции статистически значим, если:

Любая сумма квадратов отклонений связана с числом степеней свободы df, то есть с числом свободы независимого варьирования признака, который определяется размером выборки и числом определяемых по ней констант.
Степени свободы:
Дисперсия на 1 степень свободы:

F-статистика:
Проверка:
1.
2.
3. F-статистика
4.
5.

1.
2.
3.
4.
– стандартная ошибка.
–(*)