Метод наименьших квадратов

Суть регрессионного анализа
1 вопрос

Цель регрессионного анализа
Термин «регрессия» был введен Фрэнсисом Гальтоном в конце 19 века.

Виды регрессии

Простая (парная) регрессия представляет собой модель, где среднее
значение зависимой переменной Y рассматривается как функция
одной независимой переменной X:
Множественная регрессия представляет собой модель, где среднее
значение зависимой переменной Y рассматривается как функция
нескольких независимых переменных X1, X2, …, :

Спецификация модели - формулирование вида модели, исходя из соответствующей теории связи между переменными.
Исследование начинается с теории, устанавливающей связь между явлениями.
(И. И. Елисеева)
Определяется состав переменных и математическая функция для отражения связи между ними.

Спецификация линейной модели парной регрессии
Yi - фактическое значение зависимой переменной Y
Yxi - теоретическое (среднее) значение зависимой переменной Y, найденное из уравнения регрессии
εi - случайная величина (остаток регрессии)

Эмпирическое уравнение линейной регрессии
Yxi - теоретическое (среднее) значение зависимой переменной Y, найденное из уравнения регрессии
b - эмпирический коэффициент регрессии
а- эмпирический свободный коэффициент
В конкретном случае:
ei – оценка теоретического случайного отклонения ε

Теоретическая линейная модель парной регрессии
α – свободный коэффициент
β - коэффициент регрессии
εi – случайное отклонение (возмущение)
Случайное отклонение включает влияние не учтенных в модели
факторов, случайных ошибок и особенностей измерения. Источники его
присутствия в модели: спецификация модели, выборочный характер
исходных данных, особенности измерения переменных.

Типы ошибок в регрессии

Методы выбора типа уравнения регрессии

X
Y
X
Y
0
0

Y
X
X
Y
0
0

Y
X
X
Y
0
0

2 вопрос

Y
X
0
Yxi
Yi
εi

Суть метода наименьших квадратов (МНК) - оценки параметров таковы, что сумма квадратов отклонений фактических значений зависимой переменной Y от расчетных (теоретических) Yx минимальна:

Оценка параметров регрессии