Представление результатов педагогических измерений

Матрица результатов тестирования

Матрица результатов тестирования –
матрица ответов
n – общее количество испытуемых (объектов исследования);
р – общее количество заданий теста;
“j”-е задание; “i”-й испытуемый;
xij – результат выполнения “j”-го задания “i”-м испытуемым.

Подготовка матрицы ответов к статистическому анализу
Правильный и неправильный профиль ответов испытуемого

Подготовка матрицы ответов к статистическому анализу
Удаление строк и столбцов, состоящих только из нулей и единиц.

Подготовка матрицы ответов к статистическому анализу
Подсчет индивидуальных баллов испытуемых и количества правильных ответов испытуемых на каждое задание теста.

Упорядочение матрицы результатов тестирования.
Rj в порядке убывания
Yi в порядке возрастания
Подготовка матрицы ответов к статистическому анализу

Основные статистические характеристики
Тестовые задания
Тест
Распределение результатов тестирования

Статистические характеристики тестовых заданий
Известная мера трудности является обязательным требованием к тестовым заданиям. Если неизвестна эмпирическая мера трудности задания, то это задание не тестовое.
Трудность задания определяется после апробации теста. В качестве показателя трудности используется статистика – доля неправильных ответов qj.
Вариация баллов является вторым обязательным требованием к тестовым заданиям. Если на какое-то задание отвечают все тестируемые, или наоборот, не отвечают, то никакой вариации нет, а, следовательно, задание не дифференцирует знающих испытуемых от незнающих.
Дисперсия (вариация ответов) определяется по формуле:
,
где pj и qj – доля правильных и неправильных ответов в каждом задании.

Статистические характеристики тестовых заданий

Статистические характеристики тестовых заданий
Дифференцирующая способность (discriminatory power) задания, способность задания разделять обучающихся на «знающих» и «незнающих».
– доля правильных ответов на задание в лучшей группе испытуемых
(27-30% испытуемых, имеющих высокие тестовые баллы),
– доля правильных ответов на то же задание в худшей группе
(27-30% испытуемых, имеющих низкие тестовые баллы).
Достижение дифференцирующего эффекта – главная цель создания нормативно-ориентированных тестов.

Статистические характеристики тестовых заданий

Оценка системности (валидности) тестового задания
Расчет корреляционной матрицы позволяет оценить тестовые свойства задания.
В корреляционной матрице представлены корреляции между двумя заданиями, а также корреляция тестового задания с суммой баллов.
Желательно, чтобы между заданиями были низкие корреляции (значения меньше 0,3).
Чем выше значение корреляции задания с суммой баллов, тем выше шансы задания называться тестовым и попасть в тест (говорят о системности (валидности) задания).
Квадрат корреляции задания с суммой баллов, представленный в процентах (коэффициент детерминации), указывает на вклад задания в общую дисперсию тестовых баллов.
Задания с значением корреляции ниже 0,2 из теста удаляются, как не выдержавшие эмпирической проверки.

Корреляционная матрица

Коэффициент надежности теста
Коэффициент надежности теста показывает насколько можно доверять полученным результатам.
Говорят «данные получены с высокой надежностью», если коэффициент выше 0,8. Чем больше данное значение, тем уже доверительный интервал для истинного балла.
Коэффициент надежности позволяет судить о качестве теста в целом.
где pj и qj – доля правильных и неправильных ответов в каждом задании;
n – количество тестируемых; p – количество заданий;
– дисперсия тестового балла.

Ошибка измерения
Один из аспектов применения коэффициента надежности связан с определением стандартной ошибки измерения (standard error of measurement).
Стандартная ошибка измерения является стандартной погрешностью оценки истинных баллов на основании наблюдаемых результатов тестовых измерений.
При использовании в своей работе «готовых» тестов, стремитесь узнать (определить) коэффициент надежности теста, с целью вычисления ошибки измерения.

Описательные характеристики распределения тестовых результатов
Меры среднего положения (меры центральной тенденции).
Мода, медиана, среднее
Меры вариации (рассеяния, изменчивости данных).
Размах, дисперсия, стандартное отклонение, коэффициент вариации
Меры формы (меры симметрии и островершинности кривой распределения).
Коэффициенты асимметрии, эксцесса
Квантили.
Квартили, процентили

Это обобщающие показатели, характеризующие типичное значение, присущее большинству единиц совокупности, позволяющие выявлять закономерности.
Мода, М – это наиболее часто встречающееся значение признака в исследуемой совокупности.
Унимодальное распределение,
Бимодальное распределение,
Мультимодальное распределение.
Медиана, Мd – это значение, которое делит упорядоченную совокупность данных пополам, так что одна половина значений больше медианы, а другая – меньше.
Меры среднего положения
В данной совокупности имеются две относительно самостоятельные группы.

Среднее, , – это значение, которое отражает типичное значение для исследуемой совокупности в данных условиях:
где n – объем совокупности, xi – i-е значение совокупности.
Чтобы средняя величина была действительно обобщающей характеристикой, улавливающей закономерность, она должна применяться к достаточно однородной совокупности.
Средняя величина рассчитывается только для количественных признаков.
Меры среднего положения

У симметричных унимодальных распределений:
У унимодальных распределений с правой асимметрией:
У унимодальных распределений с левой асимметрией:
Соотношение мер среднего положения
Выбор меры центральной тенденции в зависимости
от типа измерительной шкалы

Меры изменчивости
Меры изменчивости – показатели, измеряющие вариацию (разброс) значений совокупности. К мерам изменчивости относятся: размах, дисперсия, стандартное отклонение, коэффициент вариации, и др.
Размах вариации (R), отражает пределы изменчивости значений совокупности.
Представляет собой разность между максимальным (xmax) и минимальным значением (xmin) совокупности:
Размах не учитывает всех значений в выборке и определяется только двумя значениями.

Дисперсия, , – это значение, которое отражает внутреннюю изменчивость значений исследуемой совокупности:
где n – объем совокупности,
xi – i-е значение, – среднее значение.
Стандартное отклонение, , показывает насколько в среднем отклоняется каждое значение (xi ) от среднего :
Меры изменчивости

Меры изменчивости
В случае нормальности распределения исследуемой совокупности значений справедливо следующее (правило «Трех сигм»):
70% значений лежит между ,
95% значений лежит между ,
99% значений лежит между .

Меры изменчивости

Квантили
Квантиль – делит совокупность на заданное число равных частей по количеству значений.
Число частей может быть различным, отсюда и разные квантили – квартили, децили, перцентили.
Квартиль делит совокупность на четыре равные части, по 25% значений а каждой части.

Квантили
Дециль делит совокупность на 10 равных частей, по 10% значений в каждой части.
Перцентиль делит совокупность на 100 равных частей.
Например,
D1 = C10, Q1 = C25, Md = C50, Q3 = C75 и т.д.
Необходимость расчета квантилей вызвана теми же причинами, что и расчет медианы: низкая чувствительность к случайным резким отклонениям значений признака.

Меры формы
Асимметрия (As) – степень отклонения распределения от симметричного распределения, характерного для нормальной кривой.
Асимметрия As принимает значения в диапазоне от –3 до +3.
As = 0, распределение симметрично;
As < 0, левосторонняя асимметрия,
As > 0, правосторонняя асимметрия.

Меры формы
Эксцесс (Ex) – степень островершинности кривой распределения.
Эксцесс (Ex) принимает значения в диапазоне от –3 до +3.
Ex = 0, распределение средневершинно;
Ex < 0, плосковершинная кривая,
Ex > 0, островершинная кривая.
Понятие «эксцесс» применимо лишь к унимодальным распределениям. Если две моды, то говорят об эксцессе кривой в окрестности каждой моды.
Меры асимметрии и эксцесса можно использовать для сравнения различных распределений.
островершинная плосковершинная средневершинная

План апробации тестовых заданий