Обзор метода статистической обработки результатов тестирования знаний

Список литературы
1 Челышкова М. Б. Теориия и практика конструирования педагогических тестов:
Учеб. пособие. – Москва.: Логос, 2002. – 432 с.
2 Педагогический тест: этапы и особенности конструирова­ния и использования:
учеб. пособие / С. В. Клишина, Н. А. Гулюкина. – 2-е изд., испр. и доп.
– Новосибирск: Изд-во НГТУ, 2006. – 148 с.
3 Статистическая обработка результатов тестирования [Электронный ресурс]:
сборник статей. –Тула., 2003. –Режим доступа:
www.tiei.ru/ppage/pages/57/HTML/Podsevalov.htm - Свободный.

Введение
Тест - специально подготовленный и прошедший экспериментальную
проверку набор заданий, позволяющий объективно и надежно оценить
исследуемые качества и свойства на основе использования экспертных оценок
и статистических методов /1/.
Для анализа качества теста и его коррекции используется математико-
статистическая обработка результатов.

Постановка задачи обзора
Исходные данные:
Результаты тестирования группы проверяемых на одних и тех же тестовых
заданиях, либо на тестах схожих по структуре и сложности.
Необходимо:
Использовать метод математико-статистической обработки для анализа
качества теста и его коррекции исходя из полученных расчётов по заданным
критериям качества.
Этапы обработки результатов теста
Сбор эмпирических данных тестирования (проведение теста и составление матрицы результатов);
Статистическая обработка результатов тестирования
Анализ качества теста.

Математическая модель зависимости
результатов от сложности заданий
1958 г. Г. Раш: двухпараметрическая модель зависимости тестового результата i-го испытуемого в j-м задание, где
а) вероятности правильных ответов: б) вероятности неправильных ответов
где xij = 1, если ответ i-го испытуемого на j-е задание правильный;
xij = 0, если ответ i-го испытуемого на j-е задание неправильный;
, уровень знаний i-го испытуемого;
, уровень трудности j-го задания;
pij – вероятность правильного ответа i-го испытуемого на j-е задание;
qij – вероятность неправильного ответа i-го испытуемого на j-е задание, равная, как принято в теории вероятностей, q = 1 – p.

Матрица результатов тестирования
Результаты тестирования представляются в виде матрицы размерами М × N, где М – число заданий в тесте, N – число испытуемых
Wj = N – Rj (1≤ j ≤ M);
dj = pj qj

– Rj – количество правильных ответов по каждому заданию
– Wj – количество неправильных ответов по каждому заданию
– pj – доля правильных ответов по каждому заданию всеми испытуемыми
– qj – доля неправильных ответов по каждому заданию всеми испытуемыми
– dj – дисперсия каждого задания
– σi – среднее квадратическое отклонение по каждому заданию
Матрица результатов тестирования
Wj = N – Rj (1≤ j ≤ M);
dj = pj qj
– Ri – тестовый балл i-го испытуемого (кол-во единиц в соответствующей строке)
– pi – доля правильных ответов испытуемого по всем заданиям теста
– qi – доля неправильных ответов испытуемого по всем заданиям теста:

Матрица результатов тестирования и
предварительные выводы о тесте
Характеристики по всему тесту:
– суммарный тестовый балл всех испытуемых:
– среднее арифметическое индивидуальных тестовых баллов испытуемых:
Оценка качества теста проводится по результатам апробации теста на репрезентативной выборке тестируемых.
Где Ri – тестовый балл i-го испытуемого, N – количество испытуемых

Матрица результатов тестирования и
предварительные выводы о тесте
Для оценки вариации тестовых баллов по всему тесту используются три показателя.
1. Сумма квадратов отклонений от среднего:
2. Дисперсия тестовых баллов испытуемых:
3. Стандартное (среднее квадратическое) отклонение:

Предварительные выводы о тесте
Кривая Гаусса (распределение индивидуальных баллов испытуемых)
f(x) – плотность распределения случайной величины x – результатов тестирования
Связь распределения индивидуальных баллов и трудности заданий теста

Предварительные выводы о тесте
Из-за сложности проверки нормальности распределения, на практике применяют
величину среднего квадратического отклонения.
Если , то распределение близко к нормальному (гауссовскому) /2/

Графическое представление результатов
тестирования

Корреляционный анализ результатов

Если , следовательно скорее всего присутствует предметная связь
между заданиями
Если < 0,3 (коэффициент корреляции каждого задания с суммарным
тестовым балом испытуемых), следовательно такие задания требуют
доработки
Если < 0, некорректность содержания заданий
Корреляционный анализ результатов
На основании корреляционного анализа можно сделать следующие
выводы /2/:

Оценка качества теста
Надёжность
Коэффициентов надежности теста – rнт

Оценка качества теста
Надёжность
Характеристики тестов, используемые как критерий качества по надёжности
приведены в таблице /2/.