Точность коэффициентов регрессии

В этом же следствии мы увидим, что можем также получить оценки стандартного отклонения распределения. Это даст некоторое представление об их вероятной надежности и послужит основой для проверки гипотез.
2
ТОЧНОСТЬ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
Функция плотности распределения вероятности b2
β2
b2
Стандартное отклонение плотности распределения b2
Простая регрессионная модель: Y = β1 + β2X + u

Выражения (которые не решены) для дисперсий их распределений показаны выше. См. Вставку 2.3 в тексте для доказательства выражения дисперсии b2.
3
ТОЧНОСТЬ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
Простая регрессионная модель: Y = β1 + β2X + u

Мы сосредоточимся на значении выражения для дисперсии b2. Рассматривая числитель, мы видим, что дисперсия b2 пропорциональна σu2. Этого и следовало ожидать. Чем больше разброс в модели, тем менее точными будут наши оценки.
4
ТОЧНОСТЬ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
Простая регрессионная модель: Y = β1 + β2X + u

Это показано на диаграммах, представленных выше. Случайная составляющая зависимости, Y = 3.0 + 0.8Xпредставленная пунктирной линейна обеих диаграммах одинакова.
5
ТОЧНОСТЬ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
Y = 2.0 + 0.5X
Линия регрессии
Линия регрессии
Случайная зависимость
Случайная зависимость
Простая регрессионная модель: Y = β1 + β2X + u

Значения Х одинаковы, и одинаковые случайные числа использовались для генерирования значений остаточного члена в 20 наблюдениях.
6
ТОЧНОСТЬ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
Линия регрессии
Линия регрессии
Случайная зависимость
Случайная зависимость
Y = 2.0 + 0.5X
Простая регрессионная модель: Y = β1 + β2X + u

Однако, на правой диаграмме случайные числа умножались в 5 раз. Как следствие, линия регрессии, сплошная линия, намного меньше приближена к линии случайной зависимости.
7
ТОЧНОСТЬ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
Линия регрессии
Линия регрессии
Случайная зависимость
Случайная зависимость
Y = 2.0 + 0.5X
Простая регрессионная модель: Y = β1 + β2X + u

Посмотрим на знаменатель выражения для дисперсии b2Чем больше сумма квадратов отклонений X, тем меньше дисперсия b2.
8
ТОЧНОСТЬ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
Простая регрессионная модель: Y = β1 + β2X + u

Однако, значение суммы квадратов отклонений зависит от двух факторов: количества наблюдений и размера отклонений Xi от его выборочного среднего. Для того, чтобы различать их, будет удобно определить среднее квадратическое отклонение X, MSD(X).
9
ТОЧНОСТЬ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
Простая регрессионная модель: Y = β1 + β2X + u

Из приведенного выражения видно, что дисперсия b2 обратно пропорциональна n, числу наблюдений в выборке, которые управляют MSD(X). Чем больше информации мы имеем, тем точнее будут оценки.
10
ТОЧНОСТЬ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
Простая регрессионная модель: Y = β1 + β2X + u

11
Третьим следствием выражения является то, что дисперсия обратно пропорциональна среднему квадратическому отклонению Х. В чем причина этого?
ТОЧНОСТЬ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
Простая регрессионная модель: Y = β1 + β2X + u

На вышеприведенных диаграммах линия случайной зависимости одинакова и для 20 значений наблюдений в распределении использовались одинаковые случайные числа.
12
ТОЧНОСТЬ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
Линия регрессии
Линия регрессии
Случайная зависимость
Случайная зависимость
Y = 2.0 + 0.5X
Простая регрессионная модель: Y = β1 + β2X + u

Однако, MSD (X) намного меньше на правой диаграмме, так как значения Х намного ближе друг к другу.
13
ТОЧНОСТЬ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
Линия регрессии
Линия регрессии
Случайная зависимость
Случайная зависимость
Y = 2.0 + 0.5X
Простая регрессионная модель: Y = β1 + β2X + u

Следовательно, на этой диаграмме положение линии регрессии более чувствительно к значениям наблюдений распределения, и, как следствие, линия регрессии, вероятно, будет относительно неточной.
14
ТОЧНОСТЬ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
Линия регрессии
Линия Регрессии
Случайная зависимость
Случайная зависимость
Y = 2.0 + 0.5X
Простая регрессионная модель: Y = β1 + β2X + u

На рисунке показаны распределения оценок b2 для X = 1, 2, ..., 20 и X = 9.1, 9.2, ..., 11 при моделировании с 10 миллионами наблюдений.
15
ТОЧНОСТЬ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
10 миллионов наблюдений
Y = 2.0 + 0.5X
Простая регрессионная модель: Y = β1 + β2X + u

Это подтверждает, что распределение оценок, полученных с высокой дисперсией Х, имеет гораздо меньшее отклонение, чем распределение с низкой дисперсией Х.
16
ТОЧНОСТЬ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
Y = 2.0 + 0.5X
Простая регрессионная модель: Y = β1 + β2X + u
10 миллионов наблюдений

Конечно, как видно из выражений дисперсии, отношение MSD (X) к дисперсии u важнее, чем ее абсолютное значение.
17
ТОЧНОСТЬ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
Простая регрессионная модель: Y = β1 + β2X + u

18
Мы не можем рассчитать теоретические дисперсии именно потому, что не знаем дисперсии остаточного члена. Однако, мы можем получить оценку σu2 из остатков.
ТОЧНОСТЬ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
Простая регрессионная модель: Y = β1 + β2X + u

19
Очевидно, что разброс остатков относительно линии регрессии будет отражать неизвестный разброс u относительно линии Yi = β1 + b2Xi хотя в общем остаток и случайный член ни в одном из наблюдений не равны друг другу.
ТОЧНОСТЬ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
Простая регрессионная модель: Y = β1 + β2X + u

20
Одной из мер разброса остатков является их средняя квадратическая ошибка, MSD(e), которая определяется формулой, указанной на слайде. (Помните, что среднее значение остатков OLS равно нулю). Интуитивно это должно приводить к дисперсии u.
ТОЧНОСТЬ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
Простая регрессионная модель: Y = β1 + β2X + u

21
Прежде чем пойти дальше, задайте себе следующий вопрос: какая прямая вероятнее будет ближе к точкам, представляющим собой выборку наблюдений по X и Y, истинная прямая Y = β1 + β2X или линия регрессии Y = b1 + b2X?
^
ТОЧНОСТЬ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
Простая регрессионная модель: Y = β1 + β2X + u

22
Ответ – линия регрессии, так как по определению она строится таким образом, чтобы свести к минимуму сумму квадратов расстояний между ней и значениями наблюдениями.
ТОЧНОСТЬ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
Простая регрессионная модель: Y = β1 + β2X + u

23
Следовательно, разброс остатков у нее меньше, чем разброс значений u, а MSD(e) имеет тенденцию занижать оценку σu2.
ТОЧНОСТЬ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
Простая регрессионная модель: Y = β1 + β2X + u

24
Действительно, можно показать, что математическое ожидание MSD(e), если имеется всего одна независимая переменная, находится выражением приведенным выше.
ТОЧНОСТЬ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
Простая регрессионная модель: Y = β1 + β2X + u

25
Однако отсюда следует, что мы можем получить несмещенную оценку σu2, умножив MSD(e) на n / (n – 2). Обозначим это su2.
ТОЧНОСТЬ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
Простая регрессионная модель: Y = β1 + β2X + u

26
Затем мы можем получить оценки стандартных отклонений распределений b1 и b2, подставив su2 для σu2 в выражениях дисперсии и взяв квадратные корни.
ТОЧНОСТЬ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
Простая регрессионная модель: Y = β1 + β2X + u

27
Они описываются как стандартные ошибки b1 и b2, «оценки среднеквадратических отклонений» являются более полными.
ТОЧНОСТЬ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
Простая регрессионная модель: Y = β1 + β2X + u

28
Стандартные ошибки коэффициентов всегда появляются как часть результата регрессии. Здесь представлена регрессия почасовых заработков в годы обучения, которые обсуждались на предыдущих слайдах. Стандартные ошибки появляются в столбце справа от коэффициентов.
. reg EARNINGS S
Source | SS df MS Number of obs = 540
-------------+------------------------------ F( 1, 538) = 112.15
Model | 19321.5589 1 19321.5589 Prob > F = 0.0000
Residual | 92688.6722 538 172.283777 R-squared = 0.1725
-------------+------------------------------ Adj R-squared = 0.1710
Total | 112010.231 539 207.811189 Root MSE = 13.126
------------------------------------------------------------------------------
EARNINGS | Coef. Std. Err. t P>|t| [95% Conf. Interval]
-------------+----------------------------------------------------------------
S | 2.455321 .2318512 10.59 0.000 1.999876 2.910765
_cons | -13.93347 3.219851 -4.33 0.000 -20.25849 -7.608444
------------------------------------------------------------------------------
ТОЧНОСТЬ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Теорема Гаусса-Маркова утверждает : при условии, что допущения модели регрессии действительны, оценки OLS являются BLUE: лучшая (наиболее эффективная) линейная (функция значений Y) несмещенных оценок параметров.
29
Плотность вероятности функцииb2
OLS
Другая несмещенная оценка
β2
b2
ТОЧНОСТЬ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
Простая регрессионная модель: Y = β1 + β2X + u