Методика оценки качества магистерских программ

Васенев Ю.Б.
Основные типы моделей:
2000г.: Модель совершенства Минобра-зования России - модель Премии конкурса по качеству. Многие европейские и российские университеты строили свои системы качества образования, основываясь на моделях совершенства.
2005 г.: В России появляется Типовая модель системы качества ОУ, построенная на принципах ГОСТ Р ИСО 9000 (Систем менеджмента качества).

Васенев Ю.Б.
а) дают возможность организации выявить свои сильные и слабые стороны;
б) содержат положения по оцениванию в сравнении с общими моделями;
в) обеспечивают основу для постоянного улучшения;
г) включают способы внешнего признания.
Общее между подходами в моделях совершенства и СМК семейства ИСО:

Васенев Ю.Б.
Различия:
а) Стандарты семейства ИСО 9000 содержат требования к СМК и рекомендации по улучшению их деятельности;
б) Оценивание СМК устанавливает выполнение этих требований ;
в) Модели совершенства содержат критерии, позволяющие проводить сравнительную оценку деятельности организации и это применимо ко всем видам деятельности и ко всем заинтересованным сторонам;
г) Критерии оценки и числовые данные в моделях совершенства Минобразования России обеспечивают основу для сравнения деятельности вуза с деятельностью других вузов.

Васенев Ю.Б.
Вуз (университет) вправе воспользоваться Типовой моделью или другими существующими моделями, модернизировав их под свои условия, или сам разработать подобную модель.
Один из возможных «гибридных» подходов к построению альтернативной модели управления качеством предложен ниже. Этот подход, однако, не отрицает опыт , накопленный другими вузами, а скорее является их модификацией.

Васенев Ю.Б.
Продемонстрируем предлагаемый подход на примере оценки качества магистерских программ, реализованный в рамках АПО и УК МП, разработанной в СПбГУ авторским коллективом в составе профессора Н.В. Хованова, (руководитель) Н.В. Михайлова и Ю.Б.Васенева.
Аналогичные модели могут быть построены в вузе и для других областей (видов) деятельности.
Особенностью их является то, что учитываются не только качественные, (как в Модели совершенства Премии Минобразования) или не только количественные (как при мониторинге деятельности вузов, проводимом Рособразованием ежегодно), а те и другие виды показателей контролируемых объектов.

Васенев Ю.Б.
Достоинства предлагаемого подхода:
позволяет строить системы качества в любом структурном подразделении вуза по мере его готовности к этому, а также достаточно быстро адаптировать разработанные модели к условиям других вузов (институтов, факультетов);
дает возможность накапливать необходимый опыт, расширять или оптимизировать количество контролируемых видов деятельности (показателей);
подготавливает вуз к осознанному внедрению системы качества, как скоординированной совокупности требований к взаимосвязанным и взаимодействующим элементам учебного процесса.
ориентируют руководителей МП, коллективы преподавателей на поиск путей совершенствования МП.

Васенев Ю.Б.
В АПО и УК МП каждая МП оценивается по 20 числовым показателям, в частности: количество учебно-методических пособий, изданных руководителем МП за последние годы, количество печатных листов и т.д., а также по 16 квалиметрическим показателям для каждого из которого разработана 3-х балльная шкала оценок.

Васенев Ю.Б.
Описание шкал порядка (ординальных шкал), используемых для выставления оценок по квалиметрическим показателям, характеризующим МП

Васенев Ю.Б.
Индивидуальная ведомость оценок эксперта БЛАНК №1
___________________________________
(должность, фамилия, инициалы эксперта)
по квалиметрическим показателям Qm при определении качества
магистерской программы (МП)
_______________________________________________________
(наименование МП, код направления по ОКСО, факультет,
________________________________________________________
кафедра, номер приказа и дата, открытия МП,
________________________________________________________
ФИО, должность, ученое звание и ученая степень руководителя МП)
Код МП:
________

Васенев Ю.Б.
Продолжение Бланк №1
Дата _________________ Подпись эксперта ____________________
Оценки экспертов выставляются по 3-х балльным шкалам в соответствии таблицей 1: «Описание шкал порядка (ординальных шкал) для выставления оценок по показателям, характеризующим МП».

Васенев Ю.Б.
Рассмотрим работу модели, на 12 МП от 3-х факультетов:

Васенев Ю.Б.
Перейдем на модель оценки качества МП и посмотрим динамику ее работы

Васенев Ю.Б.
Очевидно, что в представлении экспертов разные показатели по разному влияют на качество МП. Поэтому эксперты должны иметь возможность вводить в подсистему свое видение роли показателей в оценке качества МП.
Это учитывается путем введения дополнительной ординарной и интервальной информации.
В частности нечисловые ординарные (порядковые) данные о весовых коэффициентах задаются системой равенств и неравенств вида:
и т.д.

Васенев Ю.Б.
С вводом дополнительной информации, как правило, увеличивается точность числовых оценок (стандартное отклонение уменьшается). Это закономерный, ожидаемый результат, т.к. ввод дополнительной информации о значимости отдельных исходных показателей позволяет уменьшить неопределенность при построении интегрального показателя качества МП.
Дополнительная информация изменяет относительное положение МП в ранжированном ряде значений сводного показателя и зачастую значительно.

Васенев Ю.Б.

Васенев Ю.Б.

Васенев Ю.Б.
Данные диаграммы типа «Биржевая» строятся на основе таблиц, формируемых моделью.
Вернемся еще раз к интегральному показателю качества МП.

Васенев Ю.Б.
Из диаграммы можно сделать заключение, что по интегральному показателю с учетом точности полученных результатов доминирует группа из пяти первых кафедр (см. «Среднее» - до 0,600); в аутсайдерах – последние 2 кафедры, остальные 5 кафедр входят в среднюю группу.
При этом с учетом стандартных отклонений явное доминирование наблюдается только у первой кафедры над последними пятью. Первые 7 кафедр в пределах допустимых ошибок могут претендовать на первое место. Аналогичные рассуждения можно продолжить и далее.
Если соотнести эти значения с таблицей, приведенной на следующем слайде, устанавливающей взаимосвязь между шкалами оценок, то качество первой МП «Роботехника» можно оценить оценкой «С » (по шкале ECTS) – последних двух «Генетика» и «Ботаника» - «Е», а остальных – оценкой «D».

Васенев Ю.Б.
Пример шкал абсолютных оценок и их взаимосвязь