Методы оценки знаний и навыков студентов

*
Простая модель способностей
Miller GE. The assessment of clinical skills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.
Знать –
базовые знания выполнения навыка
Показать как –
умение показывать навык
Знать, как
применить на практике
Сделать –
практическое выполнение
Письменная, устная или оценка, полученная при компьютерном тестировании
Оценка за выполнение или активное участие

*
Самостоятельный ответ
Модифицированный вопрос-эссе (MEQ - Multiply Essay Questions)
Сочинение (краткое и длинное)
Практическое занятие
Краткий ответ
Моделирование ситуаций в
письменном виде

*
Устный экзамен
Устный экзамен на произвольные вопросы.
Устный экзамен на структурированные вопросы.
Устный экзамен с письменными ответами.
Устный экзамен с частичным разбором больного.
Устный экзамен с полным разбором больного.

Модифицированный вопрос-эссе (MEQ - Multiply Essay Questions)
Устный экзамен, студенту предлагается задание и прилагающийся к нему перечень вопросов на которые он должен ответить.
Представляет собой решение задачи с последовательным раскрытием условий.
Оценивается:
Умение собрать полную информацию о больном и его состоянии;
Взаимоотношения доктор- пациент;
Смог ли доктор понять все явные и скрытые проблемы пациента;
Ведение больного: тактика лечения, дальнейшее наблюдение, повторный визит;
Профилактика.
Используется пятибалльная система оценок.
*

*
Оценка практических навыков
Лабораторные работы
OSCE (со станциями проверки навыков)
Мини-клинический
экзамен
Продолжительный случай
Ведение дневников
Портфолио
Клинические записи
Наблюдение
Другое

*
Оценка навыков: сделать
Непрямые методы
Анализ записей в истории болезни
Анализ записей о деятельности врача
Анализ выписанных рецептов
Прямые методы
Клинический рейтинг
Стандартизованные пациенты
Оценка видеозаписей
Отзывы пациентов
Отзывы других студентов
Наблюдение за клинической работой
Мини-клинический экзамен………

*
Мини-клинический экзамен
(Norcini, 1995)
Краткое наблюдение за клинической работой с пациентом (10-20 минут)
Устная оценка
Заполнение стандартных форм
Повторяется по крайней мере 4 раза разными экзаменаторами
(см. http://www.abim.org/minicex/)

*
Ниже требуемого уровня 1 2
Почти на требуемом уровне 3
Соответствует требуемому уровню 4
Выше требуемого уровня 5 6
Мини-клинический экзамен

*
Удовлетворительное выполнение навыков
7 категорий
Расспрос
Физикальное обследование
Навыки общения
Клиническое мышление
Профессионализм
Организованность/
эффективность
Общая оценка ухода за больным
Мини-клинический экзамен

*
Если ли области, где сделано очень хорошо
Что следует улучшить
Оценка удовлетворенностью результатами по 10-бальной системе
Время затраченное на экзамен
Время затраченное на обратную связь
Мини-клинический экзамен

*
«Продолжительный случай»
Используется в конце обучения по клиническим дисциплинам.
Студент работает с реальным пациентом в течение 45 минут.
Преподаватель наблюдает со стороны, выставляет оценку и предоставляет обратную связь.
Это не совсем достоверный случай, т.к. нет стандартизации.
Для увеличения достоверности необходимо провести несколько раз, в конце суммируется оценка.

Метод «тройного прыжка» -
оценивается клиническое мышление, умение предвидеть клиническую ситуацию, способность определить требуемую дополнительно информацию и применить свои знания для решения проблемы пациента (3 раза в год).
Метод многокомпонентной оценки
Студенты проходят 3 этапа:
1 этап представляется стандартизированный пациент (может быть видеосъемка) или информация о клинической ситуации или показывают больного или предлагают описание анализа, рентгенограмму, ЭКГ. Устно или письменно объясняют ситуацию. Выясняют какая информация необходима дополнительно для постановки предварительного диагноза.
2 этап – через 24-48 ч. Предоставляется время для сбора дополнительной информации на возникшие у него вопросы, включает работу в библиотеке и дальнейшая оценка состояния больного.
3 этап – работа с преподавателем, продолжение письменного или устного экзамена, проведение диф.диагноза, выбора тактики ведения и лечения больного.

*
Наблюдение за
клинической работой
Неоднократные прямые наблюдения за клинической работой студента, используя стандартные формы оценки, заполненные подходящим наблюдателем (клиницистом, медсестрой, другим студентом и т.д.)

*
ОСКЭ OSCE
ЧТО ЭТО?
О бъективный O bjective
С труктурированный S tructured
К линический C linical
Э кзамен E xamination

*
ОСКЭ
Детализированное, фиксированное по времени шаговый опрос студентов, исключающий элемент субъективизма со стороны экзаменатора

*
Метод OSCE
Станция

*
ОСКЭ
ОСКЭ стандартизирует как сами знания преподавателей, так и оценку знаний студентов
устраняет субъективизм оценки
способствует выработке автоматизма в выполнении врачебный манипуляций
максимально приближает к реальной клинической ситуации
мобилизует на быстрое решение проблемы

*
Организация и планирование оценки

Матрица оценки

*
Методы оценки знаний

*
Планирование оценки: «Шаблон»
Компетентности
Время
Методы преподавания
Во время занятий / Вне занятий

«Шаблон»
Задачи

*
МЕТОДЫ ОЦЕНКИ
Все методы оценки имеют ограничения и ни один метод не может полностью оценить знания и навыки
Рекомендуется использование нескольких методов оценки

*
Прогрессивное тестирование
Результаты одного теста
Faculty of Medicine Maastricht University

*
Mean correct scores on the Progress Test from a number of Maastricht student cohorts (black lines) and reference group of family physicians in training (blue line)
Прогрессивное тестирование
Тестирование в Maastricht ‘77 - ‘88
Faculty of Medicine Maastricht University

*
Оценить успеваемость
Оценить способности
Выдача сертификата
Перевод на следующий курс
Обратная связь
Определить уровень непонимания
Определить сильные/ слабые стороны
Изменить стиль преподавания
Разработать план обучения
Преподаватель
Преподаватель/студент
Периодически и в конце обучения
Часто/постоянно
Окончательное решение
Улучшение
Итоговая
Промежуточная
Оценка для улучшения результатов обучения

Аспекты хорошего вопроса
Надежность (reliability) – достоверность отражает стабильность результатов теста. Выражает степень достоверности получаемых результатов. Показывает степень точного соответствия полученной оценки действительным способностям студента. Это устойчивость результатов, полученных при повторной проверке, т.е. тест должен показывать одинаковые результаты при повторном его использовании на аналогичном контингенте студентов.
Сложность экзамена (level of difficulty)
Распределение опций (distribution of option)
Качество теста – определяет Дискриминационный индекс (discrimination index) , определение чувствительного вопроса.
СГМА, доцент Керимкулова А.С.

*
Факторы, влияющие на надежность оценки
Продолжительность тестирования – длительность общения с экзаменатором способствует более объективной оценке ответа;
Разброс оценочной шкалы должен быть по возможности большим, что увеличивает точность оценки;
Количество тем влияет на качество проверки пройденного материала – чем меньше тем, тем больше вопросов можно проверить, и не пропустить важные из них;
Уровень сложности определит уровень усвоения знаний и навыков, правильные ответы на сложные вопросы покажут высокий уровень усвоения знаний;
Объективность оценки определяется соответствием полученной оценки действительным знаниям и навыкам студента, достигается она при высокой надежности метода оценки;
Количество экзаменаторов – чем больше экзаменаторов, тем выше надежность метода и точность оценки.

*
Достоверность
Связана с «обобщаемостью»
Насколько данная выборка (набор элементов) представляет генеральную совокупность (общий набор подобных случаев)?

*
Достоверность: случайные факторы
Изменения в физическом и психическом состоянии человека, подвергающегося оценке
Изменения внешних условий

*
Достоверность: контролируемые факторы
Различия в конкретных заданиях, предъявляемых тестируемому
Менее различающиеся задания = более высокая достоверность
Различия между экзаменаторами
Продолжительность экзамена

Достоверность как функция продолжительности экзамена
Продол-
житель-
ность, ч.
1
2
4
8
MCQ1
0.62
0.76
0.93
0.93
Эссе
по исто-
рии бо-
лезни2
0.68
0.73
0.84
0.82
Устный
экзамен3
0.50
0.69
0.82
0.90
Длин-
ный
случай4
0.60
0.75
0.86
0.90
OSCE5
0.54
0.69
0.82
0.90
Видео-
оценка7
0.62
0.76
0.93
0.93
1Norcini et al., 1985
2Stalenhoef-Halling et al., 1990
3Swanson, 1987
4Wass et al., 2001
5Van der Vleuten, 1988
6Norcini et al., 1999
Станд.
паци-
енты8
0.61
0.76
0.82
0.86
Mini
CEX6
0.73
0.84
0.92
0.96
7Ram et al., 1999
8Gorter, 2002
*

*
Валидность
Что на самом деле «измеряет» результат теста?
Проверяются заключения о значении и интерпретации результатов теста
Доказательства интерпретации и использования результатов теста
Дал ли экзамен нам то, что мы хотели измерить

*
Валидность
Валидность – это степень
«Какова степень доказательности результатов тестирования?»
Каждое заключение может нуждаться в своих доказательствах

*
Подведение итогов
Достоверность отражает стабильность результатов теста
Валидность: доказательны ли результаты тестирования?

*
Заключение
Оценка – это больше проблема организации обучения, чем психометрии (т.е. каким образом использовать стратегически оценку для достижения цели обучения)
Оценка требует тщательного планирования и мониторинга
Эффективна в сочетании со всей пирамидой способностей
Необходимо использование нескольких, а не одного метода оценки
Cees van der Vleuten

*
Путь студентов к достаточным или даже отличным знаниям будет менее трудным, если они будут иметь постоянную информацию о своих достижениях в учебе.

*
СПАСИБО ЗА ВНИМАНИЕ!