Перестановочные тесты и бутстреп анализ

Подход с перестановками
Вычисляют t-статистику как при параметрическом подходе и получают статистику t0
Объединяют все объекты в одну группу
Делят на группы каждый раз помещая в них новые сочетания объектов, каждый раз вычисляя новую t-статистику (для 10 объектов – 252 способа перестановки)
Располагают все значения t-статистики по возрастанию, получая эмпирическое распределение, основанное на выборках
Если t0 не входит в центральные 95% значений эмпирического распределения, отвергают H0 о равенстве средних в двух группах

Перестановочные тесты из пакета coin

Линейные модели: дисперсионный и регрессионный анализ
Пакет lmPerm
Регрессионный анализ: lmp()
Дисперсионный анализ: aovp()

Бутстреп-анализ
Создает эмпирическое распледеление тестовой статистики путем создания многих случайных выборок, основанных на исходной выборке
Позволяет вычислять доверительные интервалы и проверять статистические гипотезы без опоры на определенное теоретическое распределение

Бутстреп-анализ
Имеем 10 наблюдений:
Нужно определить доверительный интервал
Случайно выбрать 10 наблюдений из выборки с возвратом значений после каждого выбора
Вычислить среднее для полученной выборки
Повторить шаги 1-2 (тысячу) раз
Отсортировать тысячу выборочных средних по возрастанию
Найти выборочные средние, которые представляют собой 2,5 и 97,5 процентили. Это и будут границы 95%-го доверительного интервала