Сравнение открытой и закрытой форм тестирования

Тестирование как основная форма контроля знаний в автоматизированных обучающих системах
Типы тестовых ответов (В.С. Аванесов)
Закрытый (выборочный): выбор одного или нескольких вариантов ответов в произвольном порядке.
Определение порядка вариантов ответов.
Определение соответствия элементов двух множеств.
Открытые: свободно-конструируемые ответы (числовые и текстовые).

Выборочная форма ответа:
Достоинство: простота реализации.
Недостатки:
Сложно придумать неправильные, но правдоподобные варианты ответов.
Тестируемый может запомнить неправильные варианты ответа.
Решаемая задача: выбор наиболее правдоподобного ответа.
Ненулевая вероятность угадывания правильного ответа.
Предположение: тестирование с закрытой формой ответов при прочих равных условиях покажет более высокие результаты, чем тестирование со свободно-конструируемыми ответами.
Условия проведения экспериментов:
Тестирование проводилось по предмету «Базы данных».
Оба теста – закрытый и открытый – содержали по 35 вопросов с одинаковыми формулировками.
Вопросы были составлены таким образом, чтобы формулировка одного вопроса не являлась подсказкой ответа на другой вопрос.
Тестирование проводилось в один день, сначала – открытое, затем – закрытое.

Выборочные ответы
Выборочный ответ оценивается по формуле:
где
Кt – количество правильных вариантов, вошедших в ответ;
Кf – количество неправильных вариантов, вошедших в ответ;
L – общее количество правильных вариантов.

Открытые ответы
Оценка открытого ответа:
Если ответ рассматривается как множество элементов: аналогично закрытой форме.
Если ответ числовой: проверка на равенство эталону (с учетом погрешности).
Если ответ текстовый: синтаксический анализ, игнорирование грамматических ошибок, наличие нескольких эталонов.
Вопрос: Чему равно число π ?
Эталон: 3.14
Погрешность: 0.01

Результаты экспериментов

Распределение оценок за ответ открытой формы
Вопрос: Какие виды блокировок по степени параллельности работы вы знаете?
Эталон = { разделяемые, монопольные }
Эталон = { разделяемые, исключающие }

Распределение оценок за выборочный ответ
Вопрос: Какие виды блокировок по степени параллельности работы вы знаете:
1) разделяемые
2) отложенные
3) монопольные
4) явные
5) автоматические
Эталон = { 1, 3 }

Ответы на упорядочение (списки)
Список оценивается как множество:
Отбрасываются элементы, не входящие в эталонный ответ.
Полученный список оценивается так:
где Ki – количество инверсий списка относительно эталонного списка;
Kn – максимальное количество инверсий списка длиной n, Kn =n(n-1)/2.
Суммарная оценка, например:
Пример. Вопрос: Перечислите (через запятую) известные вам модели данных в порядке убывания возможностей представления связей между объектами предметной области.
Оценка:
δ1=1;
δ2=2/3;
δ = δ1* δ2 =2/3
(4 балла по пятибалльной системе)

Реализация
Описанные методы реализованы в CКЗ TS, которая характеризуется следующими особенностями:
Поддержка различных типов вопросов (ответов):
числовые выражения;
выборочный ответ с произвольным количеством вариантов и произвольным количеством правильных вариантов;
ответы на упорядочение и сопоставление;
свободно-конструируемые ответы: на упорядочение, на сопоставление, текстовые ответы, ответы в виде графика, ответы в виде формулы;
двухуровненвые схемы: списки множеств, множества списков и др.
Ориентация на работу в сети. Режим "клиент-сервер" в рамках ЛВС и через Internet.
Открытость. Возможность настройки системы на требования конкретного пользователя:
Изменение режимов и параметров функционирования ПО, входящего в состав ядра системы.
Возможность использования любых учебных материалов на машинных носителях и методов подачи этих материалов: электронный справочник (от просмотра текстовых файлов до подключения гипертекста), запуск демонстрационных программ и т.д.
Организация внешнего управления процессом обучения (вынесение во внешние базу данных и базу знаний правил организации управления обучением). Наборы правил можно модифицировать..
Переносимость на различные платформы на уровне исходных текстов программ.
Система TS используется для контроля знаний студентов МИЭМ по курсам
«Базы данных» (каф. ВСиС);
«Электрические микромашины» (каф. УиИТС).
Система может функционировать удалённо, адрес сайта в Internet: www.rema44.ru/ts/sdo

Примеры ответов различных типов
Вопрос: В каком году родился Томас Торквемада ?
Эталон: 1420
Погрешность = 1
(Точная дата рождения великого инквизитора неизвестна. Считается, что он родился около 1420 года. Таким образом, в соответствии с эталоном ответы 1419, 1420, 1421 будут признаны правильными.)
Вопрос: Соотнесите название класса членства и суть ограничения
целостности, которое он обеспечивает:
1) подчиненная запись удаляется вместе с записью-владельцем 4) необязательный
2) подчиненная запись остается при удалении записи-владельца 5) фиксированный
3) запись-владелец не может быть удалена, пока у нее есть хотя 6) факультативный
бы одна подчиненная запись 7) обязательный
(Например: [1,2], [3,4], [5,7])
Эталон = [1, 5], [2, 4], [3, 7]
Вопрос: Объедините термины, обозначающие одно и то же понятие, в группу, а группы расположите в иерархическом порядке (от простого к сложному):
1) запись, 4) кортеж, 7) элемент данных,
2) атрибут, 5) набор, 8) групповое отношение,
3) поле, 6) агрегат, 9) база данных.
(Например: {1, 2}, {3, 4}, {5}, {6, 7, 8, 9})
Эталон = {2, 3, 7}, {6}, {1, 4}, {5, 8}, {9}

Графические ответы и формулы

Система дистанционного обучения SDO на базе сервера СКЗ TS
http://rema44.ru/ts/sdo/

Публикации
Карпов В.Э., Карпова И.П. Язык описания системы контроля знаний. – Журнал «Компьютеры в учебном процессе», 2000, №4. – с.147-155.
Карпова И.П. Анализ ответов обучаемого в АОС. – Журнал "Информационные технологии", 2001, № 11. – с.49-55.
Фалк Г.Б., Карпов В.Э., Карпова И.П. Методические указания к выполнению автоматизированного контроля знаний студентов по курсовому проекту "Выбор элементов и устройств автоматики для систем автоматического управления с использованием персональных ЭВМ и удаленных баз данных. – Метод. указания к выполнению автоматизированного контроля знаний студентов по курсовому проекту. – МГИЭМ, 2003. – 14 с. – http://rema44.ru/resurs
Карпова И.П. Некоторые аспекты качественной оценки ответов тестируемых в системах контроля знаний. – Журнал "Вопросы тестирования в образовании", 2006, №4 (16). – с. 22-31.
Карпова И.П. Об одном подходе к созданию обучающих систем с открытой архитектурой. – Материалы IV Всероссийской научно-практической конференции «Образовательная среда сегодня и завтра». – М., ВВЦ, 3.10 – 6.10.2007.
Все публикации есть на сайте: http://rema44.ru/resurs