МАСТЕР-КЛАСС Критериально-ориентированное педагогическое тестирование Модуль № 3. Оценка надежности теста

Оценка надежности теста (1)
Надежность теста отражает точность педагогического измерения и устойчивость результатов тестирования к воздействию посторонних случайных факторов.
Для оценки надежности теста необходимо иметь матрицу ответов группы студентов на тест.
Для каждого студента путем суммирования числа правильных ответов определяется «сырой балл».

Оценка надежности теста (2)
Пусть критерий зачета – 60% и более выполненных заданий. Тогда для теста из 26 заданий зачет будет получать студенты, выполнившие 16 и более заданий.
На основании результатов тестирования составляется таблица сопряжения результатов тестирования «2х2», в которой a, b, c, d – доли испытуемых, получивших соответствующую аттестацию по результатам двух параллельных форм теста.
На основе таблицы сопряжения вычисляются коэффициент надежности как фи-коэффициент корреляции и каппа-коэффициент надежности теста.

Оценка надежности теста (3)
1. - фи-коэффициент корреляции
2. - вероятность принятия согласованного решения по таблице сопряжения результатов критериально-ориентированного теста, представляющая собой сумму вероятностей принятия согласованных решений по отнесению испытуемых в каждую из групп.
– вероятность случайного согласования
– оценка надежности критериально-ориентированного теста, учитывающая случайную согласованность. Каппа-коэффициент надежности теста к = [ -1; + 1]
3. Равенство фи и каппа коэффициентов надежности, а также превышение этими величин значения 0,8, говорит о надежности проведенных тестовых испытаний.

Способы увеличения надежности теста
Провести тщательный анализ каждого тестового задания по соответствию его формы и содержания основам тестовой теории.
Увеличить количество заданий в тесте.
Удалить из теста те задания, которые плохо различают подготовленных и неподготовленных учащихся.
Использовать задания в закрытой форме с четырьмя и более вариантами ответов для уменьшения влияния случайного угадывания

Статистический анализ качества тестовых заданий. Коэффициент Dj
По каждому заданию в тесте рассчитывается коэффициент различающей способности Dj путем выделения двух контрастных групп испытуемых (на основе анализа сырых баллов отделяются 27% слабых и 27% сильных студентов)
Рu и Рl - доли студентов (процент от общего числа сдававших тест) в лучшей и слабой группе, правильно ответивших на данное j-е задание.
Если Dj >= 0,4 – задание вполне эффективно
От 0,3 до 0,39 – удовлетворительное
От 0,2 до 0,29 – задание следует проанализировать на пригодность использования в тесте
< 0,19 – задание необходимо изъять или тщательно проанализировать и переработать. Оно практически не обладает дифференцирующей способностью.
Если Dj<0 – задание некачественное, т.к. лучшая группа студентов отвечает на него хуже, чем слабая.

Методы подсчета тестовых баллов – коррекция на угадывание (1)
Пусть испытуемый А дал 35 верных ответов, 10 неверных и 5 заданий пропустил в тесте с выбором из 5 вариантов ответа. Испытуемый Б: 36 верных и 14 неверных в том же тесте. Испытуемый В: 34 дает верных ответа и пропускает все остальные задания.
1. Расчет поправки на угадывание по алгоритму «Правильный плюс пропуск» осуществляется по формуле:
где хi - скорректированный индивидуальный балл;
R – число правильных ответов;
Н– число пропущенных заданий;
к – число вариантов ответов в задании.
Испытуемый А
Испытуемый Б
Испытуемый В

Методы подсчета тестовых баллов – коррекция на угадывание (2)
2. Расчет поправки на угадывание по алгоритму «Правильный минус неправильный» осуществляется по формуле:
где хi - скорректированный на угадывание индивидуальный балл;
R – число правильных ответов;
Н– число неправильных ответов;
к – число вариантов ответов в задании.
Испытуемый А
Испытуемый Б
Испытуемый В

Результаты теста –
сырые баллы испытуемых