Компьютерное тестирование уровня освоения учебного материала Тихомиров Юрий Валентинович кафедра физики МГТУГА

Содержание
Учебный материал и уровни его освоения.
Компьютерные тесты для педагогического тестирования.
Использование тестовых заданий в зависимости от их формы.
Выполнение заданий на конструирование ответа.
Разработка заданий на конструирование ответа.
Преимущества заданий на конструирование и их использование в е-курсах.

Учебный материал
н а у к а
к у р с
спецкурс
Основное содержание
определения объектов и явлений
определения характеристик
законы
алгоритмы
логические связи
ИНФОРМАЦИЯ
1.Учебный материал и уровни его освоения
УТВЕРЖДЕНИЯ

Учебный материал. Дидактическая задача
Основной объем учебного материала составляет совокупность элементов - утверждений с заданным уровнем освоения.
Структурирование учебного материала - выделение элементов и объединение в группы (разделы, темы, пункты).
Дидактическая задача: обеспечить освоение обучаемым каждого элемента определенного объема учебного материала на заданном уровне.
Дидактическая задача должна быть решена с заданной точностью.
1.Учебный материал и уровни его освоения

Уровни освоения учебного материала
Представление - способность воспроизвести с подсказкой (поддержкой).
Знание - способность воспроизвести без подсказки.
Понимание - способность воспроизвести, преобразовать, аппроксимировать.
Умение - способность воспроизвести и использовать при решении задачи в знакомой ситуации за разумное время.
Навык - способность воспроизвести и использовать в знакомой ситуации за очень короткое время (автоматически).
Элементы творчества - способность воспроизвести и использовать в незнакомой ситуации.
1.Учебный материал и уровни его освоения
Более высокие: анализ, синтез, оценка (по Блуму).

Учебный процесс и контроль знаний
1.Учебный материал и уровни его освоения
Учебный процесс должен обеспечить освоение всех элементов учебного материала до заданного уровня (определяемого, например, в МНКУ, в квалификационной характеристике и других документах).
Учебный процесс = предъявление информации + освоение информации до заданного уровня + проверка + обратная связь.
Контроль освоения элемента = проверка с помощью некоторого задания результата, полученного в процессе освоения элемента учебной информации до заданного уровня.
Результат контроля (выполнения задания) R = да/нет = 1/0.
Результат R имеет ошибку с вероятность РОШ.

Ошибки контроля
1.Учебный материал и уровни его освоения
Источники ошибки задания: вероятность положительного результата при неосвоении материала Р ОШ.ПОЛ и вероятность отрицательного результата при освоении Р ОШ.ОТР. Суммарная РОШ= Р ОШ.ПОЛ + Р ОШ.ОТР
Достоверность контроля (вероятность истинности результата)
Детализация источников ошибок:
Верный ответ при отсутствии знания есть угадывание: РОШ.ПОЛ = РУГ.
Неверный ответ при наличии знания - ошибки при составлении задания РОШ.ОТР = РОШ.ЗАД.
РИСТ = 1 - РОШ = 1 - РОШ.ПОЛ - РОШ.ОТР.
Достоверность контроля РИСТ = 1 - РУГ - РОШ.ЗАД.

2.Компьютерные тесты для педагогического тестирования.

Психологические и педагогические тесты
2.Компьютерные тесты для педагогического тестирования.
Психологические - это тесты на определение скрытых (латентных) параметров человека, например, его специфических способностей.
Педагогические - это тесты на определение учебных достижений человека, т.е. измерение результатов учебного процесса.
Тест есть совокупность заданий, результат выполнения которых должен решить проблему, поставленную перед тестом.
С точки зрения технологии применения тесты могут быть на бумажных носителях (бланках, как в ЕГЭ) и на основе использования компьютеров (тест предъявляется на экране, результат выполнения вводится в компьютер и анализируется им).
Далее будем говорить только о педагогических компьютерных тестах.

Результат тестирования
Идеальный (стопроцентный) результат обученности - все элементы учебного материала освоены на заданном уровне NОСВ = NВСЕХ.
Неидеальный результат - только некоторая часть элементов освоена на заданном уровне.
Результат, который получаем при тестировании (контроле) это отношение количества освоенных элементов к полному количеству элементов в контролируемом объеме.
Истинное состояние обученности RИСТ= NОСВ / NВСЕХ .
Измеренное при тестировании: RТЕСТА= NВЕР / NТЕСТА.
2.Компьютерные тесты для педагогического тестирования.

Ошибки тестирования
2.Компьютерные тесты для педагогического тестирования.
Есть способы априорной оценки f, если задания в количестве NТЕСТА штук выбраны случайным образом, нет ошибок контроля в каждом задании и студенты случайным образом изучают материал.
К ошибке тестирования раздела учебного материала добавляются также ошибки контроля в каждом задании (угадывания и ошибки разработки).
δТЕСТА = ± f( NТЕСТА/ NВСЕХ).
f = 0, если NТЕСТА= NВСЕХ.
Далее для простоты будем считать f = 0 и NТЕСТА= NВСЕХ.
Относительная ошибка теста

3.Использование тестовых заданий в зависимости от их формы.

Формы тестовых заданий
3.Использование тестовых заданий в зависимости от их формы.
Одно тестовое задание контролирует освоение одного элемента учебного материала (утверждения) на заданном уровне.
Тестовые задания принято делить на открытые и закрытые.
В закрытых заданиях для ввода ответа используется выбор из набора некоторых логических элементов (фраз, формул, числовых значений и т.д.)
В открытых заданиях ответ обучаемого вводится в произвольном варианте.

Закрытые задания
Закрытые задания имеют следующие основные формы:
на выбор из нескольких,
на установление соответствия,
на установление правильной последовательности,
на подстановку верного элемента,
на конструирование из нескольких элементов
другие формы.
В чате: номер - процент использования Вами, ...
(0-открытые)
3.Использование тестовых заданий в зависимости от их формы.

Задания открытые и на выбор
3.Использование тестовых заданий в зависимости от их формы.
Открытые задания имеют нулевую ошибку, связанную с угадыванием, но большую возможную ошибку при компьютерном анализе ответа.
Задание на выбор имеет вероятность угадывания обратно пропорциональную количеству элементов для выбора. При 5 элементах вероятность угадывания 20%, что многие преподаватели считают недопустимым. Дополнительный недостаток это предъявление огромного количества ложной информации. Это недопустимо при контроле теоретического материала.
Наиболее часто применяемые.
ОПРОС: Считаете ли Вы, что задания на выбор позволяют определить уровень освоения учебного элемента?

Задание на выбор
Задание на выбор не определяет уровень освоения элемента учебного материала.
Но, за неимением возможности применять другие, находят некоторый выход в многократном применении одного (или параллельных) теста и последующей обработке результатов.
Используют некоторую придуманную модель студента и задания (например, модель Раша (1961), на основе функции Ферхульста 1838 года).
Обсуждать успехи и неудачи этого подхода здесь не будем.
3.Использование тестовых заданий в зависимости от их формы.

Другие формы заданий
Задания на установление соответствия имеют значительно меньшую вероятность угадывания и могут использоваться для контроля нескольких элементов учебной информации, связанных логически. Для проверки освоения одного элемента не подходят.
Правильная последовательность - проверка освоения алгоритмов.
Выбор одного пропущенного слова это тоже выбор.
3.Использование тестовых заданий в зависимости от их формы.
Конструирование ответа - формирование утверждения путем последовательного выбора нескольких логических элементов и размещения их в нужных местах. Вероятность угадывания близка к 0.
Для NV= 5 РУГ = 1/5! = 1/120

4.Выполнение заданий на конструирование ответа.

4.Выполнение заданий на конструирование ответа.
Задание и начало ответа
ШАБЛОН
В задании вместо вопроса - шаблон - утверждение с пропущенными элементами. На местах указанных «_», надо разместить элементы, предложенные для вставки.
могут быть лишние

Вставлен первый элемент
Ответ формируется в естественной форме путем последовательного добавления элементов (слов).
Ложной информации на экране практически нет.
4.Выполнение заданий на конструирование ответа.
4.Выполнение заданий на конструирование ответа.

4.Выполнение заданий на конструирование ответа.
Верный ответ сформирован и присутствует на экране в виде единственного логического утверждения. Если оно признается верным, то возникает рекомендация его прочитать, запомнить и, если надо, переписать в тетрадь. Неверное можно повторить.
Верное выполнение свидетельствует об освоении материала на уровне «представление».
Ответ закончен. Результат

Задание без шаблона (сложное)
нет шаблона
только идентификатор
Задание повышенной сложности. Контролирует способность воспроизвести информацию практически без подсказки (поддержки), что соответствует уровню освоения «знание».
4.Выполнение заданий на конструирование ответа.

Некоторые выводы
Практически равна нулю вероятность угадывания верного ответа. Ошибка верного ответа отсутствует.
Действия обучаемого достаточно примитивны и не затрудняют ответ (вероятность неверного ответа при знании материала минимальна).
Легко изменить контролируемый уровень освоения, меняя сложность задания, например, меняя количество пропущенных элементов (вакансий) и убирая шаблон.
Количество ложной информации на экране сведено к 0.
Выполнение задания на конструирование очень похоже на ответ обучаемого при устном контроле: утверждение формируется из слов и словосочетаний. Это снижает нервное напряжение.
Для уменьшения лишней информации может отсутствовать вопрос.
4.Выполнение заданий на конструирование ответа.

Опрос
Что мешает Вам применять такие задания? Можно выбрать несколько ответов.
Не имею детальной информации.
Считаю нецелесообразным.
Слишком сложна разработка.
Нет программных средств.
Считаю, что задания на выбор лучше.
4.Выполнение заданий на конструирование ответа.

5.Разработка заданий на конструирование ответа.

TsW редактор
Один из вариантов системы, позволяющей разрабатывать и использовать задания на конструирование ответа, был создан на основе редактора MS Word (выше 7).
Сохранены все возможности этого редактора и добавлен комплект программ на языке VBA, создающих дополнительный сервис.

5. Разработка заданий на конструирование ответа.
НАЧАТЬ СОЗДАНИЕ
ВЫДЕЛИТЬ ЭЛЕМЕНТ
ВЫДЕЛИТЬ ЗАДАНИЕ
ВВЕСТИ ОТВЕТЫ
СОЗДАТЬ ДОКУМЕНТ
ПРОБНОЕ ТЕСТИРОВАНИЕ
ПОКАЗАТЬ ЗАКЛАДКИ
УДАЛИТЬ ЗАКЛАДКИ
ОТМЕНИТЬ УКАЗАНИЯ
АКТИВИРОВАТЬ КНОПКИ
ПОКАЗАТЬ СПЕЦСИМВОЛЫ
КОПИРОВАТЬ ЗАДАНИЕ
ВНЕДРИТЬ ЗАДАНИЕ
TsW - редактор

ИНСТРУКЦИИ
Пример создания задания на конструирование
ЗАДАНИЕ

Отмечаем первый элемент

Первый элемент размечен

Отмечаем второй элемент

Размечаем все утверждение

Пробное тестирование

Тест без шаблона

Инструментальная система TestumW
Обеспечивает разработку и применение заданий любой формы, включая задания с конструируемым ответом.
Реализует тестирование в среде редактора Word, т.е. использует все возможности самого этого редактора.
Позволяет использовать ранее созданные учебные материалы в электронной форме без дополнительного конструирования и печати тестовых заданий.
Время разработки одного задания не более 5 минут.
Не требуется переработка теста после нескольких повторений в е-курсе.
Не требует от преподавателя специальных навыков работы с компьютером.
Основные особенности

6.Преимущества заданий на конструирование и их использование в е-курсах.

Контролирует с высокой достоверностью начальные уровни освоения материала (представление, знание, понимание, умение).
Можно использовать на любом этапе контроля знаний в е-курсе, начиная с минимального блока (элемента) учебной информации.
Имеет малую трудоемкость при разработке. Можно легко разработать сотни заданий.
Можно повторять применение сколько угодно раз без потери качества.
Не содержит ложной информации, которая составляет подавляющую часть содержания задания с множественным выбором (multiple choice).
Легко меняет контролируемый уровень освоения, при изменении количества пропущенных элементов для заполнения (вакансий) и изъятии шаблона.
Может не иметь вопроса, что облегчает восприятие его студентом и повышает достоверность контроля.
Задание с конструируемым ответом