МАСТЕР-КЛАСС Критериально-ориентированное педагогическое тестирование Модуль № 2. Внутренняя экспертизатестов

Инструкция по внутренней экспертизе качества теста
Каждому эксперту выдаются следующие материалы:
Спецификация и план теста
Инструкция по экспертизе
Формы для заключения и записи решений
В процессе экспертизы проводится следующая работа:
Выполняется каждое задание теста (указывается правильный ответ, приводится решение задания, там где необходимо)
Анализируются формулировки задания (проверяется предметная корректность формулировок)
Анализируется содержание заданий на их тематическую принадлежность и уровень сложности (базовый, повышенный или высокий)
Формулируются замечания каждому из заданий, конструктивной форме с предложениями, что и как необходимо изменить.
Формулируется заключение о пригодности теста для использования

Спецификация теста включает:
Цель создания теста, обоснование выбора подхода к его созданию, описание возможных сфер его применению.
Перечень нормативных документов (базисных программ, требований к уровню подготовки выпускников и др.), используемых при планировании содержания теста.
Описание общей структуры теста, включающее перечень субтестов (если они есть) с указанием подходов к их разработке.
Количество заданий различной формы с указанием числа ответов к закрытым заданиям, общее число заданий в тесте.
Вес каждого задания, рекомендуемый автором теста.
Рекомендуемое время выполнения теста, в том числе на каждый субтест, среднее время выполнения одного задания с учетом специфики формы.

Гипотетическая спецификация теста
А – знание понятий, определений, терминов
В – знание законов и формул
С – умение применять законы и формулы для решения задач
D – умение интерпретировать результаты и формулы на графиках и схемах;
Е – умение проводить оценочные суждения

Конкретизированные цели обучения

Пример формы экспертного заключения о качестве теста

Оценка качества содержания теста проводится независимыми экспертами, не участвовавшими в разработке теста. Число экспертов составляет не менее 3-х человек - наиболее опытные преподаватели, с большим стажем работы.
В комплект материалов для экспертизы должен входить перечень требований к уровню подготовки испытуемых .
Эксперту при работе потребуются часы для фиксации времени работы над каждым заданием и бланк с номерами экспертного заключения с номерами заданий.
Если задание теста проверяет степень достижения требований на минимальном уровне - это базовое задание, на уровне «хорошей» оценки – задание повышенного уровня, «отличной» оценки – сложное задание.
Значимость содержания – 0 – неоправданное включение задания в тест, 1 – незначимое задание, 2 – значимое, 3 – наиболее важный опорный элемент.
Требования к экспертной комиссии и процедуре экспертизы качества теста