МАСТЕР-КЛАСС Критериально-ориентированное педагогическое тестирование Модуль №1. Качество тестовых заданий

Педагогический тест – система заданий специфической формы, позволяющая объективно и функционально, независимо от преподавателя, измерить уровень образовательных достижений обучаемых, совокупность их представлений, знаний, умений и навыков в той или иной области содержания.

Классификация педагогических тестов
По уровню контроля: вступительные, текущие, тематические тесты, тесты промежуточной и итоговой аттестации.
По содержанию: гомогенные и гетерогенные.
По методологии интерпретации результатов: нормативно-ориентированные и критериально-ориентированные.
По форме предъявления: бланковые, компьютерные ординарные и компьютерные адаптивные.

Гомогенный тест – основывается на содержа-нии какой-либо одной дисциплины.
Гетерогенный тест – основывается на содержании нескольких дисциплин,
Полидисциплинарный тест - набор гомогенных тестов (субтестов) по отдельным дисциплинам.
Междисциплинарный тест - каждое задание теста должно включает элементы содержания нескольких дисциплин. Выполнение таких заданий требует применения некоторых обобщенных, интегративных знаний и умений. Наиболее пригоден для итоговой аттестации степени соответствия уровня подготовленности студентов к профессиональной деятельности требованиям ГОС, но очень реализация сложна.

Нормативно-ориентированный педагогический тест – позволяет сравнивать учебные достижения (уровни профессиональных знаний и умений) отдельных испытуемых друг с другом. Эти тесты используются для того, чтобы получить надежно и нормально распределенные баллы для сравнения тестируемых.
Критериально-ориентированный педагогичес-кий тест – система заданий, позволяющая измерить уровень индивидуальных учебных достижений относительно полного объема знаний, навыков и умений, которые должны быть усвоены обучаемыми по конкретной дисциплине.

Этапы разработки критериально-ориентированного теста
На основании ГОСа по соответствующей дисциплине определяется область содержания теста и цели тестирования. План (спецификация) теста для промежуточного контроля знаний должен охватывать знания, умения и навыки по одной или нескольким дидактическим единицам, для итоговой аттестации – по всем дидактическим единицам дисциплины в соответствии с ГОСом по специальности.
Для каждого пункта спецификации разрабатывается несколько тестовых заданий.
Методическая комиссия кафедры (эксперты) оценивает соответствие заданий области содержания и целям тестирования. Проводится внутреннее пробное тестирование преподавателями кафедры. Осуществляется предварительная корректировка теста. Определяется время тестирования студентов Тст = Тпр * 2.
По замечаниям экспертов задания корректируются и проводится пробное тестирование в аудитории. Нельзя сообщать студентам, что это пилотное тестирование – можно получить некачественные результаты.
На основании анализа статистических параметров по каждому заданию и тесту в целом производится повторная корректировка теста – убираются неудачные задания, если необходимо составляются новые.
Выбор стандартов оценивания экспертными и эмпирическими методами. Оценка надежности теста. Оценка содержательной и критериальной валидности.
Составление окончательного варианта теста и его параллельных форм. Тиражирование самого теста и связанных с ним материалов.

Первоначально нужно ответить на вопрос – для измерения чего предназначен тест, т.е. каковы область содержания и цель тестирования. В качестве целей может использоваться – проверка знаний на уровне воспроизведения, на уровне понимания или на уровне умения применить знания в знакомой ситуации .
При разработке плана делается примерная раскладка процентного содержания разделов и определяется необходимое число заданий по каждому разделу дисциплины (по каждой дидактической единице) исходя из его важности и числа часов, отведенных на его изучение в программе.
В спецификации фиксируется структура, содержание проверки и процентное соотношение заданий в тесте. Также в спецификации желательно указать вес каждого задания, рекомендуемый автором, рекомендуемое время выполнения теста, охват требований стандартов, рекомендуемая стратегия расположения заданий в тесте.
Кто будет тестироваться, т.е. какая выборка студентов будет участвовать в тестировании?
Кто реально заинтересован в получении результатов тестирования и какую информацию нужно предоставить пользователям?
Критерий оценивания может быть установлен 50% для оценки текущей успеваемости по непрофилирующим дисциплинам и 85% для аттестационных тестов по специальным дисциплинам.
Надежность теста оценивается степенью постоянства принятия решения «зачет-незачет» при двукратном тестировании. Для этого заполняется таблица сопряжения результатов «2х2» и вычисляется фи-коэффициент корреляции и каппа-коэффициент согласованности результатов тестирования.

Принципы отбора содержания тестовых заданий для тестов
Принцип конгруэнтности – соответствие содержания педагогического теста содержанию учебной дисциплины. Задания теста должны в правильной пропорции охватывать все важные аспекты области содержания.
Принцип значимости – отражает необходимость включения в тесты только наиболее важных, базовых знаний, выражающих сущность, содержание, законы и закономерности рассматриваемых явлений.
Принцип научной достоверности – все спорные точки зрения, допусти-мые в научном споре, следует исключить из тестовых заданий.
Принцип соответствия содержания теста уровню современного состояния научного знания – необходимо постоянно совершенствовать тест, добавляя в банк новые тестовые задания.
Принцип системности, комплексности и сбалансированности содержания теста – подбор заданий, комплексно отображающих основные темы учебной дисциплины.
Принцип возрастающей трудности тестовых заданий – каждый учебный элемент имеет некоторую усредненную меру трудности, которую необходимо учитывать в процессе контроля знаний.
Принцип взаимосвязи содержания и форы – не всякое содержание задания можно выразить в тестовой форме. Также содержание теста должно отвечать логическим и семантическим требованиям и нормам.

Требования к заданиям с выбором ответа
В тексте задания должна быть устранена всякая двусмысленность или неясность формулировок;
Основная часть задания формулируется очень кратко, не более одного предложения из семи-восьми слов;
Задание имеет предельно простую синтаксическую конструкцию;
В основную часть задания включается как можно больше слов, оставляя для ответа 2-3 ключевых слова для данной проблемы;
Все ответы к одному заданию должны быть примерно одной длины, либо в некоторых заданиях правильный ответ может быть короче других;
Из текста должны быть исключены все вербальные ассоциации, способствующие выбору правильного ответа с помощью догадки;
Частота выбора одного и того же номера места для правильного ответа в различных заданиях должна быть примерно одинакова;
Основная часть задания должна быть освобождена от всякого иррелевантного для данной проблемы материала;
Из ответов обязательно исключаются все повторяющиеся слова путем ввода их в основной текст заданий;
В ответах не рекомендуется использовать слова «все», «ни одного», «никогда», «всегда», «ни один из перечисленных», «все перечисленные», т.к. в отдельных случаях они способствуют угадыванию правильного ответа;
Из числа неправильных исключаются ответы, вытекающие один из другого;
Из числа тестовых исключаются задания, содержащие оценочные суждения или мнения ученика по какому-либо вопросу;
Все дистракторы должны быть равновероятно привлекательны для испытуемых, не знающих правильного ответа;
Ни один из дистракторов не должен являться частично правильным ответом, превращающимся при определенных дополнительных условиях в правильный ответ
Основная часть задания формулируется в форме утверждения, которое обращается в истинное или ложное высказывание после подстановки ответов;
Ответ на одно задание не должен служить ключом к правильным ответам на другие задания теста, т.е. не следует использовать дистракторы из одного задания в качестве ответов к другим заданиям теста;
Если задание содержит среди прочих альтернативные ответы, не следует сразу после правильного приводить альтернативный ответ, так как внимание отвечающего обычно сосредотачивается только на этих двух ответах;
Все ответы должны быть параллельны по конструкции грамматически согласованными с основной частью задания теста.

Информационные технологии
1. Сервер – это:
программа;
тест;
команда;
компьютер.
2. Вирусы типа "Троянский конь" характеризуются отсутствием маскировки
да;
нет.
Экономическая теория
3. Труд, капитал, земля, предпринимательская способность - базовая классификация экономических ресурсов. Можно ли к экономическим ресурсам отнести деньги?
можно, если они используются для покупки инвестиционных ресурсов;
можно, если ими оплачиваются услуги труда;
все ответы – правильные;
все ответы – неправильные;
можно, если деньги помещены в банк и приносят процент.
Экономическая теория
4. Специфика предпринимательского таланта как экономического ресурса в отличие от труда состоит в том, что
предприниматель способен организовать производство и выпуск товаров и услуг, путем соединения всех необходимых факторов производства;
предприниматель принимает основные решения по управлению производством и ведению бизнеса;
предприниматель никогда не рискует своими денежными средствами;
все ответы верны;
верны ответы 1) и 2).

В задании Б неудачно сформулированы варианты ответа на вопрос – правильный ответ должен быть «замаскирован» среди неправильных.
В задании Б правильный ответ легко отличить по его длине.
Маркетинг
А. Кривая спроса иллюстрирует следующее положение:
Если товара сегодня произвели меньше, чем вчера, то его меньшее количество может быть продано только по более низкой цене;
Если товара сегодня произвели больше, чем вчера, то его возросшее количество может быть продано только по более высокой цене;
Если товара сегодня произвели больше, чем вчера, то его возросшее количество может быть продано только по более низкой цене;
Если товара сегодня произвели столько же, сколько вчера, на него можно плавно поднимать цену.
Б. Ваши ответные действия на
снижение цены конкурентом
на определенный продукт:
Тоже снижу цену;
Немедленно осуществлю комплекс мероприятий, включающий корректировку ценовой политики и учитывающий возможности предприятия и реальные условия;
Уйду с данного рынка;
Прекращу выпуск данной продукции.

Неудачно сформулированы варианты ответа на поставленный вопрос.
Ответы должны быть продолжением фразы, содержащейся в вопросе.
Маркетинг
Для партнерства не
характерно, то что …
партнеры не принимают единоличных решений;
каждый партнер несет неограниченную ответственность по долгам фирмы;
возможность привлечения дополнительного капитала путем продажи акций;
партнеры несут личную ответственность за дела фирмы;
невозможность привлечения дополнительного капитала путем продажи акций.
В матрице БКТ (Бостонской Консалтинговой Группы) категория товаров – дойные коровы определяются как:
высокий темп роста продаж;
находятся в конце жизненного цикла;
приходит больше прибыли, чем требуется для поддержания их доли на рынке;
товар, который уже долго остается в товарном портфеле компании.