Основы анализа данных. Метод наименьших квадратов. (Лекция 6)

Секции
Суть метода наименьших
квадратов
Sergey Mityagin
Метод наименьших квадратов
для линейной функции
Метод наименьших квадратов
для квадратичной функции
Матричный вид метода
наименьших квадратов
Фильтр Калмана

Метод наименьших квадратов
Sergey Mityagin
Наблюдаемая закономерность
- Предполагаемая зависимость

Суть метода наименьших квадратов
Sergey Mityagin
Метод наименьших квадратов — математический метод, основанный на минимизации суммы квадратов отклонений некоторых функций от искомых переменных, применяемый для нахождения параметров функции аппроксимации.
Функция неправдоподобия

Функция правдоподобия
Sergey Mityagin
Функция правдоподобия – функция максимальное значение которой соответствует наилучшему значению параметров интерполяции.
Условие максимального правдоподобия
Теорема: Не существует другого метода обработки результатов эксперимента, который дал бы лучшее приближение к истине, чем метод максимального правдоподобия.

ММП и МНК
Sergey Mityagin

Секции
Суть метода наименьших
квадратов
Sergey Mityagin
Метод наименьших квадратов
для линейной функции
Метод наименьших квадратов
для квадратичной функции
Матричный вид метода
наименьших квадратов
Фильтр Калмана

МНК линейной функции
Sergey Mityagin
Составляется и решается система из двух уравнений с двумя неизвестными.
Функция неправдоподобия:

МНК линейной функции
Sergey Mityagin
Производная по параметрам:

Оценки погрешности МНК
Sergey Mityagin
Погрешность МНК:

Оценки погрешности МНК
Sergey Mityagin
Проверка распределения остатков:
Визуально.
Сравнивая с табличным значением статистики хи-квадрат.

Секции
Суть метода наименьших
квадратов
Sergey Mityagin
Метод наименьших квадратов
для линейной функции
Метод наименьших квадратов
для квадратичной функции
Матричный вид метода
наименьших квадратов
Фильтр Калмана

МНК квадратичной функции
Sergey Mityagin
Квадратичная апроксимационная функция.
Функция неправдоподобия:

Проблема выбора степени полинома
Sergey Mityagin
Условие минимизации
суммы квадратов отклонений
в точке.
В других точках может
наблюдаться эффект
переобучения.
Вычислительная
сложность.
Решение:
Увеличение количества
измерений

Секции
Суть метода наименьших
квадратов
Sergey Mityagin
Метод наименьших квадратов
для линейной функции
Метод наименьших квадратов
для квадратичной функции
Матричный вид метода
наименьших квадратов
Фильтр Калмана

Матричный вид МНК
Sergey Mityagin
Квадратичная апроксимационная функция.

Матричный вид МНК
Sergey Mityagin

Матричный вид МНК
Sergey Mityagin

Обобщенный МНК
Sergey Mityagin
Статистически независимые наблюдения.
Ковариация оценок наблюдений:
Ковариация ошибок наблюдений:

Секции
Суть метода наименьших
квадратов
Sergey Mityagin
Метод наименьших квадратов
для линейной функции
Метод наименьших квадратов
для квадратичной функции
Матричный вид метода
наименьших квадратов
Фильтр Калмана

Матричный вид МНК
Sergey Mityagin
Фильтр Калмана — эффективный рекурсивный фильтр, оценивающий вектор состояния динамической системы, используя ряд неполных и зашумленных измерений.
Предположения фильтра Калмана:
гауссовые априорные и апостериорные плотности вероятности вектора состояния на любой момент времени (в том числе начальный)
гауссовые формирующие шумы
гауссовые шумы наблюдений
белые шумы наблюдений
линейность модели наблюдений
линейность модели формирующего процесса