Проекционные методы.Основные понятия и примеры

План лекции
Ведение
Немного истории
Природа многомерна
Пример - многомерный статистический контроль процессов
Два подхода к анализу данных
2. Идеи, заложенные в проекционном подходе
Данные – какие они бывают
Классы решаемых задач
3. Метод главных компонент, основные понятия и примеры

Метод наименьших квадратов
(простейший случай)

Многомерные данные

Контроль производственного процесса

Контроль производственного процесса

Контроль производственного процесса

Контроль производственного процесса

Контроль производственного процесса
On

Контроль производственного процесса
Точки съема
Моделирование производилось на основе анализа измерений и внутренних связей присущих этому набору данных
Не применялись содержательные физико-химические модели

Моделирование многомерных данных (процессов или явлений)

Содержательная составляющая задачи.
Никакие многомерные методы не помогут, если данные не содержат полезной информации об изучаемом свойстве

Данные
Количественные и качественные
Управляемые и неуправляемые
Прямые измерения и косвенные

Данные

Два класса решаемых задач

Проекционные методы

Проекционные методы
Данные без структуры
Данные со скрытой структурой

Проекция на подпространство

Метод главных компонент (PCA)

Метод главных компонент
t=Xp ⇐ max|Xp|2 при условии |p|=1 ⇔ XtXp = λp ; tTt=λ
Karl Pearson, 1901
X - матрица данных, E - матрица ошибок, обе (n × p)
T - матрица счетов: (n × k), P - матрица нагрузок: (k × p)
k - число главных компонент (k<

Матрица счетов T (scores)

Матрица нагрузок P (loadings)
PT- матрица перехода из пространства X в пространство главных компонент

Остатки E
матрица E имеет ту же структуру что и X
ei - определяет расстояние от исходного объекта до подпространства главных компонент
совокупная ошибка для всех объектов
E0 , E1 , …
E0 – ошибка при 0-м ГК, т.е. центрированная матрица X

Математическое обеспечение

Пример. Демографические данные
Количество объектов (n) = 32
Количество переменных (m) = 12

Предварительная обработка данных
Цель – преобразование исходных данных в форму, наиболее удобную для анализа.

График счетов (ГК1-ГК2)

Графики счетов
«карты образцов»

График нагрузок (ГК1-ГК2)
«карта переменных»

ГК1-ГК2 счета и нагрузки

График ошибок
Способ определения правильного количества ГК

Цели и «инструменты»
Основные цели МГК
Представление объектов в пространстве, отражающем внутреннюю структуру изучаемых данных
Понижение размерности системы, отделение содержательной части от шума
Основные «инструменты»
Графики счетов – «карты образцов»
Графики нагрузок – «карты переменных»
Графики остатков – способ выбора количества ГК

Что может быть не так?
Данные не содержат необходимой информации
Использовано недостаточное количество ГК
Использовано излишние количество ГК
Не удалены выбросы
Удалены точки (псевдовыбросы) содержащие важную информацию
Недостаточный анализ графиков счетов/нагрузок
Использована только стандартная (машинная) диагностика, без содержательного анализа.
Использованы неверные методы предварительной обработки данных

Анализ смеси

Разделение пиков