Организационная информация

Юрий БОГАЧКОВ
Тестирование
в учебном процессе:
отстройка от мифов

Познакомимся!
Я, Юрий Богачков, к.т.н. (Киев)
Начальник отдела исследования
и проектирования средств
обучения Института информационных технологий
и средств обучения АПН Украины
Руководитель центра тестирования Украинского института информационных технологий в образовании
Юный сетевой педагог

Вопросы на сегодня
Что такое тест ?
Сильные и слабые стороны теста
Алгоритм разработки теста
Форматы тестовых заданий
Спецификация теста
Характеристики теста и тестовых заданий
Мифы о тестировании

ВОПРОС № 1
Что такое тест?
Введите в чате определение, или укажите основные отличительные признаки педагогического теста

Определение педагогического теста
Тест – система параллельных заданий равномерно возрастающей трудности, специфической формы, позволяющая качественно и эффективно измерить уровень и оценить (определить) структуру подготовленности учащихся
Аванесов В.С. http://testolog.narod.ru/Theory2.html

Сущность оценивания
Оценивание = классификация, т.е. отнесение оцениваемого объекта к одному из определенных классов
Оценивание осуществляется на основании совокупности значений переменных объекта оценивания
Переменные объекта оценивания становятся известными в результате измерения
Тест – инструмент измерения значений переменных объекта оценивания

Связанные понятия
Измерение – операционное представление свойства, выраженное в единицах эталона меры
Контроль – сравнение реальных значений переменных с контрольными, с целью установления факта различия
Диагностика – установление достоверной цепочки причинно-следственных связей между событиями или явлениями на основании известных фактов
Мониторинг – актуальное знание значений переменных объекта

Порядок разработки и проведения тестирования

Понятие тестологической модели
Тестологическая модель - математическая модель показывающая, как ответы испытуемого преобразуются в показатели, представляемые как результаты тестирования

ВОПРОС № 2
Укажите сильные и слабые стороны применения тестов
Введите ответ в чате

Сильные стороны теста
Экономия времени на контроль
Тестирование (процедуру) можно проводить не привлекая специалистов предметников
Простая тиражируемость (передача другим пользователям)
Возможность соблюдения одинаковых условий для всех тестируемых
Высокая технологичность процедуры и обработки
Расширяемость (можно тестировать большое количество людей)
Автоматизация обработки результатов
Возможность статистического анализа результатов
Внутренний самоконтроль процедуры тестирования и теста

Слабые стороны теста
Высокая стартовая трудоемкость подготовки тестов и запуска системы тестирования
Необходимость использования вспомогательных средств для проведения тестирования (компьютеры, сканеры,..)
Необходимость привлечения профессионалов тестологов
Тесты плохо работают при проверке манипуляционных навыков
Тесты работают тем хуже, чем более высокий уровень (знания, компетентность) проверяемого.
Тесты объективно выявляют многие проблемы системы образования, поэтому внедряются с большим трудом.
Тесты требуют более качественного (тщательного) определения целей обучения и планирования всего учебного процесса.

ВОПРОС № 3
Назовите ключевые этапы разработки теста
Введите ответ в чате

Алгоритм разработки теста
Проценты в скобках показывают долю от общей
трудоемкости разработки теста

ВОПРОС № 4
Какие форматы тестовых заданий Вы знаете или используете?
Введите ответ в чате

Форматы тестовых заданий
1
2
3
4
5
6
7
8
9
10

Требования к тестовым заданиям
Логическая форма высказывания
Правильность формы
Сжатость
Наличие конкретного места для ответов
Правильность расположения элементов здания
Одинаковость правил оценивания ответов
Одинаковость инструкций для всех, кто тестируется
Адекватность инструкции форме и содержанию заданий

Подготовка тестовых заданий

Подготовка тестовых заданий

Вам разрешают использовать только два формата.
Какие Вы выберете ?
Множественный выбор (выбор одного)
Множественный выбор (выбор нескольких)
ДА/НЕТ
Установить соответствие двух списков
Сформировать правильную последовательность
Ввод пропущенного слова
Вычисление результата
Голосуем!

ВОПРОС № 5
Спецификация теста
Что должен указать Заказчик теста Автору теста, чтобы получить качественный тест?
Введите ответ в чате

Спецификация теста
Введение.
ФИО автора спецификации, контактные данные.
Дата создания спецификации.
Предметная область, к которой относится спецификация теста.
Цель создания теста.
Перечень решений, принимаемых по результатам тестирования.
Язык(и) теста.
Время на выполнение теста.
Характеристика тех, кого будут тестировать.
Форма(ы) проведения тестирования.
Организационные условия проведения тестирования.
Момент проведения тестирования.
Способ обработки данных тестирования.
Форма и структура представления результатов.
Содержание, которое выносится в тест.
Перечень элементарных доменов (дидактических единиц).
Матрица теста. Для разработчика и для пользователя.
Способ формирования вариантов теста.

Пример матрицы теста (1)
Present (25%)
(1)Present Simple (20%)
(2)Present Continuous (20%)
(3)Present Perfect (30%)
(4)Present Perfect Continuous (30%)
Past (25%)
(5)Past Simple Tense (20%)
(6)Past Continuous (20%)
(7)Past Perfect (30%)
(8)Past Perfect Continuous (30%)
Future (25%)
(9)Future Simple (20%)
(10)Future Continuous Simple (10%)
(11)Future Perfect Simple (20%)
(12)Future Perfect Continuous Simple (30%)
(13)Future In The Past Simple (10%)
(14)Future Perfect In The Past Simple (10%)
Лексика (25%)
(15) Лексика 1 (30%)
(16) Лексика 2 (30%)
(17) Лексика 3 (40%)

Пример матрицы теста (2)

ВОПРОС № 6
Какими показателями характеризуется тест и тестовые задания?
Введите ответ в чате

Сложность ТЗ
p-value (%)
Для заданий с весом 1 балл

Свойство дискриминации ТЗ
Дискриминация – способность ТЗ различать испытуемых с близкими способностями
-1 <=D<=1 (-100% ÷ +100%)

Характеристическая кривая ТЗ
По оси Х - уровень подготовленности тестируемого
По оси Y – вероятность правильного ответа на тестовое задание.

Информационная функция теста

Анализ теста (1)

Анализ теста (2)

Анализ теста (3)

Анализ теста (4)

Анализ теста (5)

Представление результатов (1)

Представление результатов (2)

Представление результатов (3)

Соотношение шкал

ВОПРОС № 7
Мифы о тестировании
Сформулируйте утверждения о применении тестов с которыми Вы согласны, и те с которыми Вы не согласны
Введите ответ в чате