www.clinicpsy.ucoz.ru Автоматизированная система контроля знаний Составляющие системы: 1 – Экзаменационные вопросы (подобраны и сформулиро

www.clinicpsy.ucoz.ru

Автоматизированная система контроля знаний
Составляющие системы:
1 – Экзаменационные вопросы (подобраны и сформулированы уже сотни вопросов).
2 – Автоматизированная система экзаменования.
3 – Математическая модель педагогических измерений.
4 - Собственная программа обработки данных.
5 – Результаты апробации системы на выборке студентов ППФ.
6 – Внедрение системы в эксплуатацию.
* - выполненные пункты.
- то, что предстоит сделать

Экзаменационные вопросы
Анатомия ЦНС
Физиология ЦНС
Клиническая
психология
Психиатрия
И ряд других.
Экзаменационные вопросы сформулированы по таким дисциплинам как:

Автоматизированная система экзаменования.
На данном этапе исследований для сбора данных планируется использовать свободно распространяемую систему MyTest
Окно программы MyTest (конструирование вопроса)

Математическая модель измерений
Стандартная модель IRT
Модель предлагаемая нами:
1)Правильный ответ на вопрос – функция уровня знаний студента и
трудности вопроса
2)Вероятность того что данный человек правильно ответит на данный вопрос дается функцией:
Где θ – уровень знаний студента и
δ – трудность данного задания.
Ответ на вопрос – функция расстояний в семантическом пространстве (СП) от образа вопроса до образов вариантов ответов:
Пример СП.
Формула вероятности правильного ответа
Где:
Расстояние от вопроса до правильного ответа
Расстояние от вопроса до неправильного варианта
k – число вариантов ответа
Дистрактор –правдоподобный отвлекающий вариант ответа

Математическая модель измерений
(продолжение)
Стандартная модель IRT
Модель предлагаемая нами:
Обоснование:
Функция вероятности правильного
ответа удовлетворяет следующим
условиям:
P(правильного ответа) растет с
увеличением уровня знаний.
-абсолютно неподготовленный
участник тестирования никогда не
ответит правильно
-участник чей уровень знаний во
много раз превышает уровень
трудности вопроса ответит
правильно с P=1
Обоснование:
Наша функция удовлетворяет всем
условиям слева. Кроме того наша модель
была выведенна как частный случай теории
выбора по сходству (Similarity Choice
Model), проверенной в экспериментах с
выбором. В них испытуемый должен
опознать предъявленный ему стимул
(например прочитать букву). Вероятность
того что на определенный стимул будет дан
определенный ответ:
Из этой формулы можно получить нашу модель экзамена если рассматривать вопрос как стимул, а варианты как ответы.

Математическая модель измерений
(окончание)
Стандартная модель IRT
Модель предлагаемая нами:
Плюсы: -Учет числа вариантов ответа -Наложив условие
получим, что вероятность правильного ответа не опускается ниже r=1/k (эффект случайного угадывания)
Планируется обеспечить одинаковую крутизну кривых вопросов, проведя оценку вопросов экспертами, с отбраковкой вопросов, оцененных как невалидные.
Минусы: -Некоторые вопросы могут апеллировать к знаниям больше чем по одной дисциплине. Для таких вопросов кривая θ Vs. P отв. становится менее крутой. Учет этого в модели введением параметров крутизны делает результат сомнительным
-
-Учет угадывания введением еще одного оцениваемого параметра делает результат еще ненадежнее.

Программа обработки (проект)
Компьютерная программа обработки должна уметь:
-Получать на входе массив нулей и единиц, описывающий результаты выполнения каждым испытуемым каждого задания и выдавать оценки и в интервальной шкале что соответствует уровню знаний и трудности задания в стандартной модели.
-Для оценки параметров использовать метод максимального правдоподобия (наиболее точный).
-Вычислять меру качества подгонки данных к модели (типа Хи-квадрат).
-Вести базу данных трудностей заданий и базу уровней знаний экзаменуемых.