Слайд 2Актуальность темы определяется
1) Интенсивным характером развития систем дистанционного образования
2) Необходимость создания и
внедрения объективных количественных методик оценок качества знаний и качества учебного процесса.
3) Необходимостью достижения экономической эффективности учебного процесса путем автоматизации контроля уровня знаний в ДО.
4) Ролью технологий ДО в освобождения преподавателя от рутинной работы
Слайд 3Объект исследования
системы дистанционного образования
Предмет исследования
алгоритмы, методы и средства организации
контроля знаний в системах дистанционного образования
Слайд 4Связь работы с научными программами и темами
Научно-исследовательские темы кафедры информатики и вычислительной
техники ГрГУ:
СУ4-03 ,,Разработка и внедрение новых информационных технологий в деятельность университета``
Ф04/3 ,,Развитие информационной структуры математического факультета на основе компьютерных сетей``
Слайд 5Гипотеза исследования
Учет полной информации, содержащейся в ответах испытуемого, использование методов многомерного статистического
анализа и компьютерных средств обработки данных
позволит получить комплексную объективную оценку уровня знаний
Слайд 6Цель исследования
Разработка инструментальной системы,
предназначенной для определения количественной оценки
комплексной структуры знаний
Слайд 7Задачи исследования
1) Разработка алгоритма работы системы
2) Обоснование используемых математических методов
3) Разработка модулей,
реализующих основные блоки алгоритма:
анализа качества содержания компьютерного теста;
автоматического анализа результатов тестирования;
адаптивного теста, минимизирующего стоимость контроля знаний.
оценки достоверности результата тестирования и оценки устойчивости процедуры тестирования
4) Интеграция компонент системы с существующим ПО ДО
5) Проведение эксперимента по внедрению системы в учебный процесс ГрГУ и анализ его результатов
Слайд 8Научная новизна и практическая значимость
В применении методик многомерного статистистического анализа в области
построения алгоритмов автоматического контроля качества образовательного процесса и оценки результатов тестирования уровня знаний
В комплексном подходе к тестированию знаний, реализованном в рамках данного исследования, который позволяет повысить возможности компьютерного тестирования знаний до уровня традиционного устного экзамена
Слайд 9Основные положения работы,
выносимые на защиту
1 Возможна эффективная автоматизация методов определения достоверных
качественных и количественных оценок результатов тестирования уровня знаний, основывающихся на многомерном статистическом анализе.
Слайд 10Основные положения работы,
выносимые на защиту
2 Автоматизация является адекватным средством, позволяющим сделать
объективным этап построения шкалы оценок компонентов теста при его создании
Слайд 11Основные положения работы,
выносимые на защиту
3 Комплексный подход к процессу создания, применения
и оценке достоверности контроля знаний позволяет создать условия для переноса центра тяжести учебного процесса на самостоятельную контролируемую работу учащихся
Слайд 12Основные положения работы,
выносимые на защиту
4 Процедуры оценки, основывающиеся на многомерном статистическом
анализе, обладают естественно присущими свойствами, позволяющими организовать адаптивную процедуру тестирования знаний
Слайд 13Апробация результатов и публикации
Результаты, полученные в ходе данного исследования применялись для оценки
этапного контроля знаний студентов ГрГУ и неоднократно докладывались на заседаниях Советов математического факультета и факультета физической культуры.
По теме исследования опубликовано 6 работ.
Слайд 14Основная идея предлагаемого метода
Все имеющиеся способы оценки результатов тестирования ограничиваются использованием лишь
части собираемой в ходе тестирования информации.
В оценке результатов не используется анализ зависимостей между вариантами ответов разных вопросов теста.
С помощью предлагаемого подхода можно увеличить кол-во информации на основании которой вычисляется оценка в десятки раз.
Слайд 15Входные данные для анализа
а) компьютерные тесты, организованные по схеме:
б) результаты контрольной группы
проверенные традиционным методом контроля знаний
в) результаты предъявления вопросов теста испытуемому
Слайд 16Выходная информация
Объективная количественная оценка различных составляющих знаний испытуемого
Слайд 17Структура оценки знаний испытуемых
1) традиционная оценка
2) желаемая оценка
3) в интерпретации многомерного статистического
анализа
Общие
знания
Специальные
знания
Способности
Общие
знания
Специальные
знания
Способности
Способности
Специальные
знания
Общие
знания
Слайд 18Традиционный метод получения оценки
Слайд 19Предлагаемый метод получения оценки
Слайд 20Источник дополнительной информации
!
Ответы разных вопросов теста коррелируют между собой, если вопросы относятся
к одной компоненте знаний
Слайд 21Аспекты реализации предлагаемого подхода
Вашему вниманию предлагается несколько алгоритмов оценки уровня знаний использующих
методы многомерного статистического анализа для учета результатов анализа зависимостей между вариантами ответов в тесте
Слайд 22Алгоритм объективного формирования теста
Слайд 23Алгоритм оценки ответа испытуемого
Слайд 24Алгоритм определения устойчивости оценки знаний
Слайд 25Алгоритм адаптивного контроля знаний
Слайд 26Реализация предложенных алгоритмов
Методики оценки качества тестов и ответов испытуемых реализованы в программной
среде R
Решены вопросы интеграции с существующим программным обеспечением поддержки учебного процесса
Слайд 28Пример реализации метода принципиальных компонент на языке R
prcomp <- function(x, retx=TRUE, center=TRUE,
scale.=FALSE,
tol = NULL) {
x <- as.matrix(x)
x <- scale(x, center = center, scale = scale.)
s <- svd(x, nu = 0)
if (!is.null(tol)) {
rank <- sum(s$d > (s$d[1]*tol))
if (rank < ncol(x))
s$v <- s$v[, 1:rank, drop = FALSE] }
s$d <- s$d / sqrt(max(1, nrow(x) - 1))
dimnames(s$v) <-
list(colnames(x), paste("PC", seq(len = ncol(s$v)), sep = ""))
r <- list(sdev = s$d, rotation = s$v)
if (retx) r$x <- x %*% s$v
class(r) <- "prcomp“
r }
Слайд 29Причины использования RDBMS
быстрый доступ к выбранной части большой базы данных
сохранение
данных более структурировано, чем предоставляет возможности прямоугольной модели таблицы фрейма данных R
конкурентный доступ множества клиентов, в том числе работающих удаленно, одновременно с разграничением прав доступа к обрабатываемым данным
Слайд 30Методы интеграции с существующим программным обеспечением ДО
Чтение из сокета
Использование вызова downlоad.file
Интефейс
DCOM
Интерфейс CORBA
Слайд 31
Пример обращения к данным в среде R
с помощью вызова интерфейса CORBA
Описание
IDL
Interface Matrix {
long nrow();
long ncol();
double data (in long i, in long);
};
Инициализация BOA на порту 2001
CORBAinit(c("-OAport","2001",commandArgs()))
Обращение к объекту из среды R:
> .Corba("mat","nrov")
[1] 3
> .Corba("mat","ncol")
[1] 4
Слайд 32Результаты экспериментов
Анализ результатов контрольного
среза знаний на 2-ом курсе
математического факультета ГрГУ.
Слайд 33Шаг 1
Первые два выделенные ортогональные фактора содержат 64% всей наблюдаемой дисперсии. Целесообразно
проводить анализ используя пространство двух первых выделенных независимых факторов.
Слайд 34В пространстве первых двух факторов нагрузки наблюдаемых переменных распределились:
Слайд 35В пространстве значений факторов вычисленных для каждого из сдававших тест наблюдается весь
диапазон возможных значений ответов (хотя и не все сочетания за каждой из точек может стоять несколько студентов получивших одинаковый комплект оценок). Существует одна максимальная оценка и одна минимальная оценка, две противоположные вершины ромба.
Слайд 36Была построена двумерная гистограмму которая отражает особенности ответов на вопросы теста во
всей группе второкурсников сдававших тест и особенности групп.
Слайд 37Выводы
Наибольшая доля низких оценок во второй группе. Первая группа середнячки.
Первая вторая и
пятая группа демонстрирует широкий разброс в направлении «Алгебра -- Геометрия». Пятая группа демонстрирует в целом повышенный уровень знаний.
Третья группа резко «алгебраизирована» и демонстрирует в целом высокий уровень оценок. В меньшей степени выражена «алгебраизация» в четвертой группе, оценки средние.
Слайд 38Анализ результатов контроля
качества учебного процесса.
Слайд 39Анкета состояла из 18 первичных оценок. Вид функциональной зависимости доли дисперсии выделенного
первичного фактора от его порядкового номера четко свидетельствует о наличии простой факторной структуры с числом первичных факторов равным двум.
Слайд 40Первичные оценки равноудалены от центра координат по причине равносильности и достаточно равномерно
образуют вклады в значения обоих факторов.
Слайд 41Требовательность
жесткость
Доброже-лательность
Доступность, понятность предмета
Сложность предмета
Слайд 42С помощью процедур контроля качества можно выделить объективно пределы “нормальной силы” воздействия
в отношениях студент-преподаватель.
Слайд 43Выводы
1 Процедура оценки качества теста знаний заключается в проверке способности теста дифференцировать
опрашиваемую аудиторию по заданным критериям отбора. Реализация данного положения формально сводится к процедуре применения, полученной в ходе дискриминантного анализа контрольной группы, дискриминантной функции к результатам тестирования.
Слайд 44Выводы
2 Решение проблемы объективного и достоверного тестирования уровня знаний можно решить оценкой
"образа знаний" тестируемого, привлекая при этом полное сочетание информации даваемой тестом в целом; процедура тестирования при этом строго формализована, и результат однозначно следует из отмеченных ответов проверяемого.
Слайд 45Выводы
3 Адаптивная процедура тестирования может быть основана на пошаговом выборе оптимального вопроса
(дистрактора) в ходе дискриминантного анализа во время ответа тестируемого.
Слайд 46Выводы
4 Применение процедуры объективного тестирования, в сочетании с дискриминантным анализом на этапе
проверки и факторным анализом на этапе создания теста, позволяет перейти от оценки знаний к оценке навыков и умений, выявить имеет ли испытуемый целостную картину знаний.