Общие подходы к оценке заданий со свободными развернутыми ответамиГ.С.Ковалева,зам. директора ФИПИ

Задачи семинара
Изучение научно-методического и организационно-технологического обеспечения системы оценивания заданий с развернутыми ответами

Материалы, подготовленные для семинара
1. Сборник материалов для подготовки региональных экспертов ЕГЭ в 2005 г.
2. Комплект учебных пособий по предметам (3 части)
3. Электронное пособие
4. Комплект работ выпускников с необходимыми данными

Основные подходы к созданию стандартизированной системы оценивания заданий со свободным развернутым ответом
Основная цель – повышение точности оценивания выполнения заданий со свободным развернутым ответом за счет:
уменьшения расхождений в оценках независимых экспертов;
уменьшения систематических ошибок в работе экспертов.

Научно-методическое обеспечение системы оценивания включает:
типологию основных элементов содержания и учебно-познавательной деятельности, проверяемых заданиями со свободным развернутым ответом;
типологию заданий со свободным развернутым ответом, проверяющих выделенные элементы содержания и учебно-познавательной деятельности;
оптимальную систему критериев (интегральную, аналитическую, поэлементную) для оценки заданий со свободным развернутым ответом каждого выделенного типа;

Научно-методическое обеспечение системы оценивания
используемые шкалы с обоснованием вида шкалы и ее размера;
методику оценки ответов экзаменуемых на основе разработанных критериев с примерами типичных ответов, ошибок и рекомендациями по принятию мер в нестандартных ситуациях.

Организационно-технологическое обеспечение системы оценивания включает:
методику отбора и подготовки экспертов для проверки выполнения заданий со свободным развернутым ответом;
стандартизированную процедура проверки и перепроверки выполнения заданий со свободным развернутым ответом;
механизмы обеспечения качества работы системы: (описание критериев качества и оптимальных процедур).

Классификация заданий со свободным ответом
Задания с кратким ответом
Задания с развернутым ответом:
(с ограниченным ответом и типа эссэ)

Преимущества заданий со свободным развернутым ответом
1. Обеспечивают большую возможность оценить овладение предметной областью (выше содержательная валидность)
2. Обеспечивают большую возможность для диагностики результатов обучения и проблем в обучении

Преимущества заданий со свободным развернутым ответом
3. Вызывают больший интерес у учащихся чем задания с выбором ответа 4. Стимулируют учебный процесс на формирование более важных учебных умений (решение задач, доказательства, обобщение, рассуждения, оценочные суждения, аргументация и др.)

Недостатки заданий со свободным развернутым ответом
1. Субъективность проверки экспертов (снижение надежности)
2. Значительные затраты (людские, финансовые и др.)
3. Влияние сформированности коммуникативных умений ( а также почерка) на результаты проверки

Роль заданий со свободным развернутым ответом в структуре контрольных измерительных материалов ЕГЭ
Выделить выпускников с высоким уровнем образовательных достижений, наиболее успешно освоивших изученный в школе материал и наиболее подготовленных к обучению в вузах

Задания со свободным развернутым ответом призваны проверить качественное овладение содержанием проверяемых курсов и сложными интеллектуальными умениями:
логично и последовательно излагать свои мысли,
приводить решение задачи с обоснованием отдельных этапов,
применять теоретические знания для обоснования и объяснения предложенных явлений и процессов,
использовать знания в воображаемых жизненных ситуациях,
прогнозировать последствия,
формулировать гипотезы, делать выводы
выражать и обосновывать свою точку зрения,
приводить аргументы в поддержку определенной точки зрения или в опровержении ее и др.

Контрольные измерительные материалы 2005 года

Основные требования к заданиям со свободным развернутым ответом
1. Задания со свободным развернутым ответом должны проверять важные стороны общеобразовательной подготовки выпускников средней школы, которые не могут быть проверены заданиями с выбором ответа или заданиями со свободным кратким ответом.

Основные требования к заданиям со свободным развернутым ответом
2. Задания с развернутым ответом сопровождаются системой оценивания его выполнения, которая должна включать: критерии оценивания и варианты (вариант, образец) правильных ответов (элементов ответа) и, по ряду учебных предметов, решения.

Основные требования к заданиям со свободным развернутым ответом
3. Формулировка задания должна соответствовать критериям оценивания. Это означает, что испытуемый после прочтения задания должен понять, какую задачу ему предстоит выполнить, и с какой полнотой он должен дать ответ для получения максимального балла.

Основные требования к заданиям со свободным развернутым ответом
4. Основой для определения системы оценивания выполнение задания должен быть анализ спектра ответов учащихся (на выборке апробации) и соотнесение данного спектра ответов с экспертными критериями оценки.

Основные требования к заданиям со свободным развернутым ответом
5. В заданиях со свободным ответом, проверяющих учебные достижения (предметные знания и умения), а не коммуникативные умения, от учащихся не должно требоваться написания длинного текста. В задании должны быть даны рекомендации о предполагаемой длине ответа (возможное число предложений, определенная часть страницы и т.д.).

Основные требования к заданиям со свободным развернутым ответом
6. Максимальная оценка эксперта для одного задания или одного критерия (например, в КИМ по русскому языку) не должна превышать 4. Желательно, чтобы она была равна 2 или 3 (требования Центра тестирования).

Основные требования к заданиям с развернутым ответом
7. Разработанная для данного задания система оценивания должна давать согласованные экспертные оценки, не менее 85-90% соответствия поставленных оценок независимыми экспертами.

Основные требования к заданиям со свободным развернутым ответом
8. Время, затраченное на проверку задания с открытым развернутым ответом, должно быть соизмеримо со значимостью информации, полученной на основе выполнения данного задания.

Разработка системы оценивания выполнения задания с открытым развернутым ответом
1. Определение подхода к оценке выполнения задания (интегральный, аналитический или поэлементный);
2. Выделение основных характеристик (критериев) для оценки выполнения задания, по которым можно дифференцировать работы учащихся;
3. Подбор примеров работ учащихся, демонстрирующих весь спектр выполнения работы (от отличной до неудовлетворительной);
4. Определение шкалы измерения для оценки разного уровня освоения данной характеристики и длины шкалы

Разработка системы оценивания выполнения задания с открытым развернутым ответом
5. Экспериментальная проверка разработанного варианта критериев;
6. Доработка системы критериев;
7. Дополнительный подбор примеров работ учащихся, демонстрирующих весь спектр выполнения задания.

Система оценивания может считаться объективной и надежной
Если несколько экспертов, проверяющие одну и ту же работу, делают одинаковое заключение о подготовке учащегося (выставляют одинаковые баллы).
Если один и тот же проверяющий одинаково оценивает одну и ту же работу ученика, если он проверяет ее через некоторое время.

Доказательства надежности проверки заданий со свободным развернутым ответом
1. Результаты квалификационной проверки работы экспертов после подготовки, например, результаты зачета: согласованность работы отдельных экспертов с группой).

Доказательства надежности проверки заданий со свободным развернутым ответом
2. Результаты перепроверки работы экспертов во время проверки работ учащихся (работы проверяются двумя независимыми экспертами, а потом результаты сравниваются или работы проверяет один эксперт, затем часть работ перепроверяется другим экспертом). (Надежность работы эксперта по разным работам)

Доказательства надежности проверки заданий со свободным развернутым ответом
3. Результаты оценки надежности работы экспертов, проверяющих одну и ту же работу (надежность проверки одной и той же работы).

Доказательства надежности проверки заданий со свободным развернутым ответом
4. Согласованность работы экспертов по годам.
5. Согласованность работы различных групп экспертов по различным дисциплинам.
6. Согласованность работы одного и того же эксперта в течение времени (один и тот же эксперт через некоторое время проверяет заново некоторые работы).

Статистические показатели, характеризующие качество разработанной системы оценивания
1. Распределение ответов учащихся. Если система баллов подобрана правильно, то ответы учащихся распределяются по всем баллам. Нет ни одного балла, который был получен незначительной группой учащихся (менее 5%).

Статистические показатели, характеризующие качество разработанной системы оценивания
2. Возрастание коэффициента точечно-бисериальной корреляции задания при увеличении категории (балла). При переходе от более низкого к более высокому баллу возрастает коэффициент точечно-бисериальной корреляции, что свидетельствует о том, что более высокий балл получают именно те учащиеся, которые лучше справились со всей работой.

Статистические показатели, характеризующие качество разработанной системы оценивания
3. Надежность проверки и перепроверки. При повторной проверке работы совпадение должно быть не менее чем в 85% случаев.

Расхождения в оценках экспертов

Расхождения в оценках экспертов

Из опыта работы региональных предметных комиссий (по результатам опроса 309 экспертов из 55 регионов
Подготовка экспертов:
- в последней четверти учебного года – 32%
- во втором полугодии – 28%
- в течение всего года – 22%
- в последний месяц – 3,2%
- в последнюю неделю – 1,3%

Из опыта работы региональных предметных комиссий
2. Продолжительность подготовки:
в среднем 28 ч
мин- 4 ч
макс – 150ч

Из опыта работы региональных предметных комиссий
3. Содержание подготовки:
Процедуры проверки заданий (81%)
Нормативно-правовые документы ЕГЭ (78%)
Процедуры разрешения спорных конфликтов (67%)
Особенности содержания итоговой аттестации (61%)
Подходы к разработке КИМ (52%)
Содержание работы конфликтной комиссии (30%)
Содержание вступительных испытаний в вузы (28%)

Из опыта работы региональных предметных комиссий
3. Формы занятий
лекции (89%)
практические занятия (71%)
аттестация, зачет (96%)

Из опыта работы региональных предметных комиссий
4. Формы аттестации
практическая работа (59%)
теоретический зачет (11%)
комбинированная форма (28%)

Из опыта работы региональных предметных комиссий
5. Критерии отбора экспертов
квалификация (89%)
знание школьного курса (76%)
опыт работы с абитуриентами (51%)
умение работать в жестких временных рамках (43%)
личный авторитет (27%)
Другие (психологические особенности личности, умение работать в команде, умение самостоятельно принимать решения и др.)

Из опыта работы региональных предметных комиссий
6. Основные вопросы для обсуждения
Каковы оптимальные способы проверки заданий?
Какие трудности (технические, содержательные и др.) были выявлены при оценке экзаменационных работ?
Как избежать (или свести до минимума) ситуации, приводящие к назначению третьего эксперта?

Анализ опыта проверки открытых заданий в рамках единого государственного экзамена позволил выявить следующие возможные причины несогласованности экспертных оценок при проверке заданий с развернутым ответом:
1. Недостаточная отработка системы оценивания заданий с развернутым ответом.
2. Нарушение технологии разработки КИМ. Отсутствие этапа адекватной апробации всего банка заданий с развернутым ответом для детальной разработки системы оценивания каждого конкретного задания.

Анализ опыта ЕГЭ
3. Недостаточная подготовленность экспертов к проверке всех заданий. (По данным ETS, к стандартизированной проверке можно допускать эксперта, который прошел подготовку к проверке одного задания /ознакомление с системой проверки и самостоятельная проверка/, которая по времени занимала не менее 4 ч.)

Анализ опыта ЕГЭ
4. Традиционно сложившаяся система проверки заданий со свободными ответами в России (оценка не по содержательным критериям, а в ориентации на среднего ученика в данном классе при значительном влиянии оформления работы и правильности (красивости) речевых высказываний (не содержательных) на итоговую оценку).

Анализ опыта ЕГЭ
5. Значительные различия в подходах к оценке, используемых представителями вузов и школы. По мнению региональных представителей, эксперты из вузов, как правило, имеют тенденцию завышения оценок, а представители школ – к их занижению. Представители вузов и школ имеют разную степень ознакомления с рекомендациями МО по оценке экзаменационных работ при итоговой аттестации.

Анализ опыта ЕГЭ
6. Нарушение требований к процедуре проверки заданий с развернутым ответом (проверка работ без разделения их по вариантам и заданиям (2001-2002), отвлечение экспертов на проставление «0» по пустым бланкам «С»)
7. Неадекватные условия проверки (работа более 8 ч, нарушение перерывов, перегруженность помещений и др.)

Анализ опыта ЕГЭ
8. Непредусмотренные факторы (большой объем проверки на одного эксперта, сбой программы обработки бланков экспертов и др.)
9. Региональные особенности (кадровые просчеты, материально-технические проблемы и др.)

Некоторые общие рекомендации экспертам
1. Если ответ отличается от варианта, предложенного в рекомендациях по оцениванию
Эксперт должен оценить, понял ли экзаменуемый суть задания или поставленного вопроса и в какой степени продемонстрировал свою способность выполнить данного задание или ответить на данный вопрос. Балл выставляется на основе коллегиального решения группы экспертов, проверяющих данный вариант.

2. Если в ответе допущены орфографические, пунктуационные и грамматические ошибки
По всем предметам, кроме русского языка орфографические, пунктуационные и грамматические ошибки не учитываются, если они не искажают суть ответа.

3. Что означает «Ответ отсутствует» (символ Х) в протоколе эксперта?
Все случаи, когда место для ответа пустое или ученик, например, записал: «Не хватило времени для ответа».
За все ответы, включающие, например, слова: « Я не знаю», «Слишком трудный вопрос», прочерк «-» или какие-либо символы, ставится код (балл) 0.