Дисперсионный анализ для сравнения средних. Тест Крускала-Уоллиса

Сравнение двух средних
На предыдущих семинарах мы обсуждали сравнение двух средних значений
В случае нормального распределения применяют, например, t-тест
Если распределение не описывается нормальной кривой, для сравнения двух распределений используют, например, тест суммы рангов Уилкоксона (Манна-Уитни)

Сравнение нескольких средних

Однофакторный дисперсионный анализ

Объединенная оценка дисперсии
Остатки отражают разброс данных вокруг средних значений по группам
Модель ANOVA предполагает, что распределение признака во всех группах нормальное и имеет одинаковую дисперсию
Объединенная (усредненная) оценка дисперсии по I группам будет иметь вид:
Тогда несмещенная оценка σ:
Группы с бо́льшим количеством наблюдений будут иметь больший вес

Регрессия и ANOVA: одно и то же
Из модели множественной регрессии мы помним, что:
Модель ANOVA аналогична регрессионной модели, где роль линии регрессии выполняют средние по группам
Поэтому SSM записывают как SSG, что означает сумма квадратов отклонений каждого среднего от генерального среднего
Аналогично регрессии: SSE – сумма квадратов отклонений значений от внутригрупповых средних, SST – сумма квадратов отклонений каждого значения от генерального среднего

F-тест для дисперсионного анализа
Несложно догадаться, что и
Степени свободы для всех отклонений и F-тест :
Подчиняется распределению F(I-1, N-I)
(Аналогично регрессии)

Пример
Имеем 3 переменных, в каждой 3 наблюдения:

Индивидуальные сравнения. Контрасты

Пример расчета контрастов

Множественные сравнения

Что делать, если допущения нарушаются
Если распределения остаются предположительно нормально распределенными, но дисперсия в группах гетерогенна
Если наибольшее и наименьшее стандартные отклонения различаются менее чем в 2 раза, то можно ничего не делать
Если различия дисперсий резкие, рекомендуется использовать F-тест Уэлча для разных дисперсий
Далее для множественных сравнений можно применить тест Геймса-Хоуэлла (Games-Howell test)
Эти методы менее мощные, чем классические, однако применимы даже при очень малых выборках

Ранговый ANOVA
Если резко нарушаются допущения, можно обратиться к непараметрическим методам оценки
Самый неприятный случай – когда возможны резкие выбросы, которые нельзя объяснить и убрать
Простые и примитивные непараметрические тесты – ранговые
На предыдущих семинарах мы рассматривали ранговые корреляции Спирмена и тесты попарных сравнений Уилкоксона
Дисперсионный анализ также можно произвести ранговыми методами. В этом случае мы тестируем общую нулевую гипотезу не F-тестом, а тестом Крускала-Уоллиса (Kruskal-Wallis test)

Тест Крускала-Уоллиса

Тест Крускала-Уоллиса
Рассмотрим урожаи культуры при разном количестве сорняков:
Графики нормальных квантилей по группам:

Ранги наблюдений и суммы рангов по группам
Статистика Крускала-Уоллиса
Тест Крускала-Уоллиса
P = 0.1344