Итоги тестирования в 2009/2010 учебном году и перспективы развития системы тестирования учебных достижений студентов ГУ-ВШЭ А

Где размещены материалы?
Вся информация по вопросам тестирования размещается на сайте Отдела методического сопровождения учебного процесса в разделе ТЕСТИРОВАНИЕ
http://www.hse.ru/org/hse/aup/6210762/6210771/test

Локальное нормативное обеспечение тестирования на 2009/2010 уч.г.
Приказ № 31-04/1326 от 03.11.2009 г.
"Об обеспечении Интернет-тестирования
в 2009/2010 учебном году»
Приказ № 31-04/1603 от 24.12.2009 г.
"О подготовке и проведении аккредитации отдельных образовательных программ Государственного университета – Высшей школы экономики в 2009-2010 учебном году»

Функциональная схема тестирования

Виды тестирования:
возможности факультетов/отделений
ППС – тестирование в рамках самообследования
по материалам преподавателей
АСТ- тестирование по тестовым базам АСТ-центра
ФЭПО – федеральный интернет-экзамен в сфере профессионального образования (Росаккредагентство)
Тест-тренажеры – дополнительная услуга НИИ мониторинга качества образования

Тест-тренажеры - необязательная, но полезная форма самоподготовки, самопроверки для последующих контрольных по срезов всем видам тестирования

Тест-тренажеры
1370- «подходов»- попыток самоподготовки
с учетом организованных на факультетах срезов для подготовки групп к ФЭПО.
3630 – всего тестируемых, с учетом филиалов
Ни один преподаватель ГУ-ВШЭ
(Москва и филиалы) не воспользовался возможностью тестирования учебной группы.

Тест-тренажеры
Вывод:
Рассчитывать на сознательную самоорганизацию процесса тестирования и системы тестирования не приходится.
«Никто не делает больше того, к чему его обязывают совесть, профессиональная этика педагога … и четкие указания руководства»
М.Н.Скаткин

Сводная таблица количества тестируемых
в 2009/2010 уч. году по всем видам тестирования

Информация о получении отчетов по тестированию
за 2009/2010
(«0» - отчетность не предполагалась)

Диаграмма сравнения результатов
по видам тестирования:
доля (%)тестируемых получивших положительные результаты

ФЭПО
Федеральный интернет-экзамен в сфере профессионального образования

Диаграмма результатов тестирования
в целом по вузу
(ФЭПО 2010)

Диаграмма обобщенных результатов тестирования
по дисциплине Английский язык

По дисциплине «Информатика» приняли участие 72 студента
следующих образовательных программ: - 010500.62 «Прикладная математика и информатика», - 080700.62 «Бизнес-информатика».
Результаты тестирования: 70 (97,2%) студентов освоили 100% дидактических единиц дисциплины

Результат тестирования ООП Философия (бакалавриат) по дисциплине Экономика. Диаграмма ранжирования ООП по показателю освоения дисциплины
на соответствие требованиям ГОС в сравнении с вузами РФ
(УГН Гуманитарные науки)

АСТ
* с учетом участников факультета менеджмента и МИЭФ
проведено 116 срезов (сеансов) тестирования

Сравнительные данные по видам тестирования

Диаграмма сравнения результатов тестирования по циклам учебного плана

Тестирование по материалам ППС
Две темы:
Получение отчетов о проведении контрольного тестирования
и комплектов ТЗ по аккредитуемым
в 2010г. образовательным программам.
Разработка БТЗ в связи с переходом
на новые стандарты

Аккредитация
отдельных образовательных программ в 2010 г.
(выдержки из приказа № 31-04/1603 )
1.1. по направлениям высшего профессионального образования,
реализуемым в Государственном университете – Высшей школе экономики:
010500.62 Прикладная математика и информатика
030100.68 Философия
030600.68 Журналистика
030700.68 Международные отношения
1.2. по направлениям и специальностям высшего профессионального образования, реализуемым в Нижегородском филиале Государственного университета - Высшей школы экономики:
010500.62 Прикладная математика и информатика
080506.65 Логистика и управление цепями поставок
1.3. по направлениям высшего профессионального образования, реализуемым в Пермском филиале Государственного университета - Высшей школы экономики:
080500.68 Менеджмент
1.4. по направлениям и специальностям высшего профессионального образования, реализуемым в Санкт-Петербургском филиале Государственного университета - Высшей школы экономики:
030200.62 Политология
030301.65 Психология

Анализ комплектности тестовых материалов ППС по аккредитуемым в 2010 году образовательным программам

Анализ комплектности тестовых материалов ППС по аккредитуемым в 2010 году образовательным программам (слайд-2)

Цитата из тезауруса (неположительные примеры):
В отличие от отношений власти, где навязание одной стороной своей воли другой не подразумевает получения на это согласия у последней, отношения политического господства и подчинения в политической социологии Вебера предполагают наличие стремления к повиновению у тех, кому отдаются приказы. В зависимости от того, на основании какого рода мотивов осуществляются отношения господства и подчинения в политическом сообществе, Вебер выделяет три типа легитимного господства: традиционный, харизматический и легально-рациональный.

Фрагмент Тезауруса (неположительные примеры):
основные понятия с определениями и тезисы по дисциплине «Компьютерные технологии в журналистике
и научных исследованиях»
Основные термины:
Автоматизированные измерения
Автоматизированные измерения аудитории
Автоматизированные измерения аудитории Интернета
Автоматизированные измерения аудитории радио
Автоматизированные измерения аудитории телевидения
Автоматизированная регистрация эфирных событий

Как доказать, что результат получен?
Компетенции, заявленные как результаты обучения, сформированы?

Образовательная программа это:
Заявление о намерениях
(соглашение между абитуриентом
и вузом о предоставлении некоторых образовательных услуг)
Совокупность условий реализации образовательных услуг
Результат – подтверждение нового качественного состояния субъекта

Обоснование достижения результата (сформированности компетенций)
Традиционное построение системы оценивания в вузе не содержит нормативно закрепленных процедур формальных измерений приращения качественных изменений субъекта.
Тестирование учебных достижений – инструмент оценки достижения результата.

Образовательный результат – подтверждение нового качественного состояния субъекта
(формы, способы, методы)
Экспертные: общепринятые, традиционные формы контроля: (итоговые - Итоговый государственный экзамен, защита ВКР; промежуточные – экзамен, зачет, эссе, контрольная, коллоквиум, домашнее задание и пр.)
Стандартизированные и объективизированные:
тесты (не требующие присутствия, наличия и участия преподавателя) в процессе контроля.
Компетентностно-ориентированные задания:
методы объективизированные +экспертные.
Образовательные компетенции НИУ должны быть подтверждены результатами контрольных мероприятий

Система контрольно-оценочных материалов
Всю систему контрольно-оценочных материалов по дисциплинам, модулям, входящим в определенную образовательную программу, необходимо рассматривать
как своего рода договор между педагогами, администрацией вуза и работодателями
о том, что первые готовы обеспечить подготовку специалиста определенного качества, а последние удовлетворены его характеристиками.

Стандартизированные методы контроля
Тестирование учебных достижений студентов – инструмент формирования, контроля и обоснования достижения результата (сформированности компетенций)

Инструмент оценки
достижения результата:
Согласованность целей участников процесса (администрации, преподавателей, студентов)
Мотивация (администрации, преподавателей, студентов)
Стандарт разработки, применения
Признание внешней средой права применения инструмента
(т.е. качества БТЗ НИУ)

Различия целей использования Moodle и АСТ-тест:
MoodleMoodle (модульная объектно-ориентированная динамическая учебная среда) — свободнаяMoodle (модульная объектно-ориентированная динамическая учебная среда) — свободная система управления обучениемMoodle (модульная объектно-ориентированная динамическая учебная среда) — свободная система управления обучением (LMS) Каждый преподаватель может воспользоваться возможностями сайта moodle.org для создания своего образовательного ресурса
Комфортная информационно-технологическая среда для формирования авторских оригинальных учебных материалов
АСТ-тест - адаптивная среда тестирования, программное обеспечение разработки тестовых заданий, их аккумуляции в базы
по ООП, администрирования процесса, предъявления результата и его анализа.
При наполнении БТЗ преподавателей - инструмент измерения качества образования по образовательной программе в целом,
когда отдельные разработки интегрированы в единый комплекс.

Инструмент оценки достижения результата
Тестирование учебных достижений студентов становится
КОНТРОЛЬНО-ИЗМЕРИТЕЛЬНЫМ ИНСТРУМЕНТОМ только при едином подходе к стандартизированным правилам разработки, применения
и оценки тестовых материалов

Стандарт разработки, применения инструмента
Требует формализации правил разработки тестовых заданий, регламента сбора и формирования университетской базы тестов по ООП, регламента использования в учебном процессе, нормативно закрепленных и признаваемых участниками процесса.

Разработка инструмента
Предпосылки
Задачи

Предпосылки: что есть
Проект положения о внедрении системы тестирования в ГУ-ВШЭ (опубликованный, рекомендованный как типовое положение для вузов РФ)
Инструкция для разработки комплекта тестовых заданий по учебной дисциплине (для преподавателей, разработчиков тестов)
Компьютерная программа: Адаптивная среда тестирования (АСТ-центра)
База тестов по 50 учебным дисциплинам ООП
ГУ-ВШЭ, заказанных кафедрами
в 2009 году (установлена на сервере ГУ-ВШЭ)

Что сделано
Проведены интернет экзамены в форме тестирования (внешние проверки) ФЭПО (Росаккредагентство): 2009 г. (697студентов), 2010 г. (612 студентов)
Проведено интернет тестирование по тест-тренажерам
НИИ мониторинга качества образования (Росаккредагентство)1037студентов
Проведено тестирование по закупленным базам тестов
АСТ-центра студентов ГУ-ВШЭ и филиалов
3360 - общее количество студентов, участвовавших в тестировании в 2009/2010 учебном году (без учета повторного тестирования)
Собраны тестовые материалы по 10 образовательным программам к аккредитационной проверке вуза в 2009 году (разной комплектации и качества)
Закуплено программное приложение Maker, Converter с помощью которого можно формировать собственно университетские банки тестов (соответствующие содержанию образования ФГОС/НИУ)

Что делать?
Для формирования баз тестовых заданий
по образовательным программам необходимо разработать комплекты тестовых заданий по дисциплинам учебного плана каждой образовательной программы.
В связи с этим предполагается решить задачи:
Организационные
Содержательные
Технические

Что делать: организационные задачи
(взаимодействие участников для ввода
тестовых заданий по учебной дисциплине в БТЗ)

Что делать:
технические задачи
(взаимодействие участников для ввода тестовых заданий
по учебной дисциплине в БТЗ)
Установить программное обеспечение Maker, Converter для работы ответственных за тестирование от факультетов в учебных корпусах, размещения факультетов с обеспечением доступа для преподавателей для автономной работы с ПО
В ОМСУП организовать ПК для хранения всех БТЗ и тестовых материалов для редактирования и ввода тестовых материалов, последующего размещения на серверах ГУ-ВШЭ
Обеспечить сопровождение ДИТ работы ПО и консультативную помощь
Обеспечить ввод в программу тестовых материалов
по конкретной дисциплине/образовательной программе силами студентов практикантов/учебных ассистентов

Что делать: Содержательные
задачи
Тестовые материалы соответствуют тематическим планам программ учебных дисциплин?
(Чему учим, то и проверяем)
Как проверить в тестовой форме то,
что не может быть проверено тестами?
(Создать фонд компетентностно-ориентированных заданий - КИМов,
которые не могут быть стандартизированы)

Фонд компетентностно-ориентированных заданий - КИМов
Компетентностный формат стандартов ставит педагогическое сообщество перед задачей концептуального обоснования принципов оценивания
и создания банка обновленных оценочных средств.

Создание банка обновленных оценочных средств: Чему учим, то и проверяем
Каждый преподаватель по учебному курсу разрабатывает контрольно-измерительные материалы (КИМ) согласно «Требованиям к программам учебных дисциплин» и «Инструкции к разработке комплекта тестовых заданий по учебной дисциплине»
http://www.hse.ru/org/hse/aup/6210762/6210771/test
Приложение к рабочей учебной программе: фонд контрольно-измерительных стандартизированных тестовых заданий

Фонд компетентностно-ориентированных заданий - КИМов, которые не могут быть стандартизированы
Согласно обозначенным в программе учебной дисциплины формулировкам компетенций, которые должны быть достигнуты, сформированы
в результате освоения учебного курса, преподавателем разрабатывается
на каждую компетенцию задание, успешное выполнение которого подтверждает достижение заданного
в стандарте НИУ уровня компетенции

В зарубежной практике Университетского образования аналогов подобных разработок нет
Мониторинговые исследования Международной ассоциации по оценке учебных достижений IEA
Участие в международных сравнительных исследованиях качества образования в России (естественно-математическое образование - IEAP-II, TIMSS-1995, TIMSS-1999, TIMSS-2003, TIMSS-2007, PISA-2000, PISA-2003, PISA-2006; PISA-2009) для 14-15 летних школьников
Международное сравнительное исследования «Изучение качества чтения и понимание текста» (Progress in International Reading Literacy Study, PIRLS).
Все масштабные исследования проводились на школьниках,
а не на студентах!

Выводы:
Новая идеология тестирования:
от навязанного контроля к многофункциональному инструменту измерения образовательного процесса и результата
Существующие БТЗ могут быть использованы
для тренинга, текущего контроля
Для объективного контроля разработать тестовые материалы ППС, соответствующие программам учебных дисциплин, создать общеуниверситетскую БТЗ-инструмент измерения

Благодарим коллег,
принявших участие
в организации и проведении тестирования
на факультетах и отделениях!