Основы анализа данных. Регрессионный анализ. (Лекция 6)

Секции
Определения, термины
и примеры применения
Sergey Mityagin
Виды регрессионного анализа
Коэффициенты регрессии
и детерминации
Линейная регрессия на корреляции

Примеры применения
Sergey Mityagin
1. Моделирование числа поступивших в университет для лучшего понимания факторов, удерживающих детей в том же учебном заведении.
2. Моделирование потоков миграции в зависимости от таких факторов как средний уровень зарплат, наличие медицинских, школьных учреждений, географическое положение.
3. Моделирование дорожных аварий как функции скорости, дорожных условий, погоды и т.д.,
4. Моделирование потерь от пожаров как функции от таких переменных как количество пожарных станций, время обработки вызова, или цена собственности.

Связь между переменными
Sergey Mityagin
Линейная положительная связь
Линейная отрицательная связь
Связь отсутствует
Нелинейная связь

Определения
Sergey Mityagin
Регрессионный анализ — статистический метод исследования влияния одной или нескольких независимых переменных X 1 , X 2 , . . . , X p на зависимую переменную Y .
Независимые переменные иначе называют регрессорами или предикторами, а зависимые переменные — критериальными.
Терминология зависимых и независимых переменных отражает лишь математическую зависимость переменных, а не причинно-следственные отношения.

Определения
Sergey Mityagin
Цели регрессионного анализа
1. Определение степени детерминированности вариации критериальной (зависимой) переменной предикторами (независимыми переменными).
2. Предсказание значения зависимой переменной с помощью независимой(-ых).
3. Определение вклада отдельных независимых переменных в вариацию зависимой.
Регрессионный анализ нельзя использовать для определения наличия связи между переменными, поскольку наличие такой связи и есть предпосылка для применения анализа.

Термины
Sergey Mityagin
Уравнение регрессии Математическая формула, применяемая к независимым переменным, чтобы лучше спрогнозировать зависимую переменную, которую необходимо моделировать.
- Коэффициенты регрессии
- Зависимые переменные
- Ошибка регрессии
Неслучайная часть
Свободный коэф.
Случайный остаток

Термины
Sergey Mityagin
Формирование уравнения регрессии – процедура минимизации случайного остатка.
Выделение зависимых переменных
Выделение смещения мат.ожидания

Определения
Sergey Mityagin

Секции
Определения, термины
и примеры применения
Sergey Mityagin
Виды регрессионного анализа
Коэффициенты регрессии
и детерминации
Линейная регрессия на корреляции

Виды регрессионного анализа
Sergey Mityagin
Линейные по переменным
Не линейные по переменным
Линейные по
параметрам
Не линейные
по параметрам
Не надо использовать

Линейный регрессионный анализ
Sergey Mityagin
Запись в матричной форме:

Линейный регрессионный анализ
Sergey Mityagin
Оценка параметров:
Получаем в явном виде набор уравнений:
МНК:

Линейный регрессионный анализ
Sergey Mityagin
Пример:
X
Y

Линейный регрессионный анализ
Sergey Mityagin
Пример:
X
Y

Линейный регрессионный анализ
Sergey Mityagin
Пример:
X
Y
Y=1,02*x+4,66

Линейный регрессионный анализ
Sergey Mityagin
Задание:
X
Y

Другие виды регрессионного анализа
Sergey Mityagin
Полиномиальная функция регрессии:
Запись в матричной форме:

Другие виды регрессионного анализа
Sergey Mityagin
Логистическая регрессии:

Секции
Определения, термины
и примеры применения
Sergey Mityagin
Виды регрессионного анализа
Коэффициенты регрессии
и детерминации
Линейная регрессия на корреляции

Смысл коэффициента регрессии
Sergey Mityagin
Свойства коэффициента регрессии
• Коэффициент регрессии может принимать любые значения.
• Коэффициент регрессии не симметричен , т.е. изменяется, если X и Y поменять местами.
• Единицей измерения коэффициента регрессии является отношение единицы измерения Y к единице измерения X: ([Y] / [X]).
• Коэффициент регрессии изменяется при изменении единиц измерения X и Y .
Например, результативный признак Y измеряется в рублях, а факторный признак X в количестве рабочих (чел.), то коэффициент регрессии измеряется в рублях на человека (руб. / чел.)

Коэффициент детерминации
Sergey Mityagin
Коэффициент детерминации рассматривают, как правило, в качестве основного показателя, отражающего меру качества регрессионной модели, описывающей связь между зависимой и независимыми переменными модели. Коэффициент детерминации показывает, какая доля вариации объясняемой переменной y учтена в модели и обусловлена влиянием на нее факторов, включенных в модель:

Достоинства и недостатки
Sergey Mityagin
Достоинства:
Недостатки:
1. Простота вычислительных алгоритмов.
2. Наглядность и интерпретируемость
результатов (для линейной модели)
1. Невысокая точность прогноза (в основном - интерполяция данных ).
2. Субъективный характер выбора вида конкретной зависимости (формальная подгонка модели под эмпирический материал).
3. Отсутствие объяснительной функции (невозможность объяснения причинно -следственной связи).

Секции
Определения, термины
и примеры применения
Sergey Mityagin
Виды регрессионного анализа
Коэффициенты регрессии
и детерминации
Линейная регрессия на корреляции

Линейная регрессия на корреляции
Sergey Mityagin
Линейная регрессия на корреляции — частный случай линейной регрессии. Применяется для построения простейших регрессионных моделей для прогнозирования временных рядов.