Сравнение открытой и закрытой форм тестирования

Содержание

Слайд 2

Тестирование как основная форма контроля знаний в автоматизированных обучающих системах

Типы тестовых ответов

Тестирование как основная форма контроля знаний в автоматизированных обучающих системах Типы тестовых
(В.С. Аванесов)
Закрытый (выборочный): выбор одного или нескольких вариантов ответов в произвольном порядке.
Определение порядка вариантов ответов.
Определение соответствия элементов двух множеств.
Открытые: свободно-конструируемые ответы (числовые и текстовые).

Слайд 3

Выборочная форма ответа:

Достоинство: простота реализации.
Недостатки:
Сложно придумать неправильные, но правдоподобные варианты ответов.
Тестируемый может

Выборочная форма ответа: Достоинство: простота реализации. Недостатки: Сложно придумать неправильные, но правдоподобные
запомнить неправильные варианты ответа.
Решаемая задача: выбор наиболее правдоподобного ответа.
Ненулевая вероятность угадывания правильного ответа.
Предположение: тестирование с закрытой формой ответов при прочих равных условиях покажет более высокие результаты, чем тестирование со свободно-конструируемыми ответами.
Условия проведения экспериментов:
Тестирование проводилось по предмету «Базы данных».
Оба теста – закрытый и открытый – содержали по 35 вопросов с одинаковыми формулировками.
Вопросы были составлены таким образом, чтобы формулировка одного вопроса не являлась подсказкой ответа на другой вопрос.
Тестирование проводилось в один день, сначала – открытое, затем – закрытое.

Слайд 4

Выборочные ответы

Выборочный ответ оценивается по формуле:
где
Кt – количество правильных вариантов, вошедших

Выборочные ответы Выборочный ответ оценивается по формуле: где Кt – количество правильных
в ответ;
Кf – количество неправильных вариантов, вошедших в ответ;
L – общее количество правильных вариантов.

Слайд 5

Открытые ответы

Оценка открытого ответа:
Если ответ рассматривается как множество элементов: аналогично закрытой форме.
Если

Открытые ответы Оценка открытого ответа: Если ответ рассматривается как множество элементов: аналогично
ответ числовой: проверка на равенство эталону (с учетом погрешности).
Если ответ текстовый: синтаксический анализ, игнорирование грамматических ошибок, наличие нескольких эталонов.

Вопрос: Чему равно число π ?
Эталон: 3.14
Погрешность: 0.01

Слайд 6

Результаты экспериментов

Результаты экспериментов

Слайд 7

Распределение оценок за ответ открытой формы

Вопрос: Какие виды блокировок по степени параллельности

Распределение оценок за ответ открытой формы Вопрос: Какие виды блокировок по степени
работы вы знаете?
Эталон = { разделяемые, монопольные }
Эталон = { разделяемые, исключающие }

Слайд 8

Распределение оценок за выборочный ответ

Вопрос: Какие виды блокировок по степени параллельности работы

Распределение оценок за выборочный ответ Вопрос: Какие виды блокировок по степени параллельности
вы знаете:
1) разделяемые
2) отложенные
3) монопольные
4) явные
5) автоматические
Эталон = { 1, 3 }

Слайд 9

Ответы на упорядочение (списки)

Список оценивается как множество:
Отбрасываются элементы, не входящие в эталонный

Ответы на упорядочение (списки) Список оценивается как множество: Отбрасываются элементы, не входящие
ответ.
Полученный список оценивается так:
где Ki – количество инверсий списка относительно эталонного списка;
Kn – максимальное количество инверсий списка длиной n, Kn =n(n-1)/2.
Суммарная оценка, например:
Пример. Вопрос: Перечислите (через запятую) известные вам модели данных в порядке убывания возможностей представления связей между объектами предметной области.
Оценка:
δ1=1;
δ2=2/3;
δ = δ1* δ2 =2/3
(4 балла по пятибалльной системе)

Слайд 10

Реализация

Описанные методы реализованы в CКЗ TS, которая характеризуется следующими особенностями:
Поддержка различных типов

Реализация Описанные методы реализованы в CКЗ TS, которая характеризуется следующими особенностями: Поддержка
вопросов (ответов):
числовые выражения;
выборочный ответ с произвольным количеством вариантов и произвольным количеством правильных вариантов;
ответы на упорядочение и сопоставление;
свободно-конструируемые ответы: на упорядочение, на сопоставление, текстовые ответы, ответы в виде графика, ответы в виде формулы;
двухуровненвые схемы: списки множеств, множества списков и др.
Ориентация на работу в сети. Режим "клиент-сервер" в рамках ЛВС и через Internet.
Открытость. Возможность настройки системы на требования конкретного пользователя:
Изменение режимов и параметров функционирования ПО, входящего в состав ядра системы.
Возможность использования любых учебных материалов на машинных носителях и методов подачи этих материалов: электронный справочник (от просмотра текстовых файлов до подключения гипертекста), запуск демонстрационных программ и т.д.
Организация внешнего управления процессом обучения (вынесение во внешние базу данных и базу знаний правил организации управления обучением). Наборы правил можно модифицировать..
Переносимость на различные платформы на уровне исходных текстов программ.
Система TS используется для контроля знаний студентов МИЭМ по курсам
«Базы данных» (каф. ВСиС);
«Электрические микромашины» (каф. УиИТС).
Система может функционировать удалённо, адрес сайта в Internet: www.rema44.ru/ts/sdo

Слайд 11

Примеры ответов различных типов

Вопрос: В каком году родился Томас Торквемада ?
Эталон: 1420
Погрешность = 1
(Точная

Примеры ответов различных типов Вопрос: В каком году родился Томас Торквемада ?
дата рождения великого инквизитора неизвестна. Считается, что он родился около 1420 года. Таким образом, в соответствии с эталоном ответы 1419, 1420, 1421 будут признаны правильными.)

Вопрос: Соотнесите название класса членства и суть ограничения
целостности, которое он обеспечивает:
1) подчиненная запись удаляется вместе с записью-владельцем 4) необязательный
2) подчиненная запись остается при удалении записи-владельца 5) фиксированный
3) запись-владелец не может быть удалена, пока у нее есть хотя 6) факультативный
бы одна подчиненная запись 7) обязательный
(Например: [1,2], [3,4], [5,7])
Эталон = [1, 5], [2, 4], [3, 7]

Вопрос: Объедините термины, обозначающие одно и то же понятие, в группу, а группы расположите в иерархическом порядке (от простого к сложному):
1) запись, 4) кортеж, 7) элемент данных,
2) атрибут, 5) набор, 8) групповое отношение,
3) поле, 6) агрегат, 9) база данных.
(Например: {1, 2}, {3, 4}, {5}, {6, 7, 8, 9})
Эталон = {2, 3, 7}, {6}, {1, 4}, {5, 8}, {9}

Слайд 12

Графические ответы и формулы

Графические ответы и формулы

Слайд 13

Система дистанционного обучения SDO на базе сервера СКЗ TS

http://rema44.ru/ts/sdo/

Система дистанционного обучения SDO на базе сервера СКЗ TS http://rema44.ru/ts/sdo/

Слайд 14

Публикации

Карпов В.Э., Карпова И.П. Язык описания системы контроля знаний. – Журнал «Компьютеры

Публикации Карпов В.Э., Карпова И.П. Язык описания системы контроля знаний. – Журнал
в учебном процессе», 2000, №4. – с.147-155.
Карпова И.П. Анализ ответов обучаемого в АОС. – Журнал "Информационные технологии", 2001, № 11. – с.49-55.
Фалк Г.Б., Карпов В.Э., Карпова И.П. Методические указания к выполнению автоматизированного контроля знаний студентов по курсовому проекту "Выбор элементов и устройств автоматики для систем автоматического управления с использованием персональных ЭВМ и удаленных баз данных. – Метод. указания к выполнению автоматизированного контроля знаний студентов по курсовому проекту. – МГИЭМ, 2003. – 14 с. – http://rema44.ru/resurs
Карпова И.П. Некоторые аспекты качественной оценки ответов тестируемых в системах контроля знаний. – Журнал "Вопросы тестирования в образовании", 2006, №4 (16). – с. 22-31.
Карпова И.П. Об одном подходе к созданию обучающих систем с открытой архитектурой. – Материалы IV Всероссийской научно-практической конференции «Образовательная среда сегодня и завтра». – М., ВВЦ, 3.10 – 6.10.2007.
Все публикации есть на сайте: http://rema44.ru/resurs
Имя файла: Сравнение-открытой-и-закрытой-форм-тестирования.pptx
Количество просмотров: 111
Количество скачиваний: 0