Автоматизированная система контроля уровня знаний в системе дистанционного образования Магистерская диссертация по специальн

Содержание

Слайд 2

Актуальность темы определяется
1) Интенсивным характером развития систем дистанционного образования
2) Необходимость создания и

Актуальность темы определяется 1) Интенсивным характером развития систем дистанционного образования 2) Необходимость
внедрения объективных количественных методик оценок качества знаний и качества учебного процесса.
3) Необходимостью достижения экономической эффективности учебного процесса путем автоматизации контроля уровня знаний в ДО.
4) Ролью технологий ДО в освобождения преподавателя от рутинной работы

Слайд 3

Объект исследования
системы дистанционного образования
Предмет исследования
алгоритмы, методы и средства организации

Объект исследования системы дистанционного образования Предмет исследования алгоритмы, методы и средства организации
контроля знаний в системах дистанционного образования

Слайд 4

Связь работы с научными программами и темами
Научно-исследовательские темы кафедры информатики и вычислительной

Связь работы с научными программами и темами Научно-исследовательские темы кафедры информатики и
техники ГрГУ:
СУ4-03 ,,Разработка и внедрение новых информационных технологий в деятельность университета``
Ф04/3 ,,Развитие информационной структуры математического факультета на основе компьютерных сетей``

Слайд 5

Гипотеза исследования
Учет полной информации, содержащейся в ответах испытуемого, использование методов многомерного статистического

Гипотеза исследования Учет полной информации, содержащейся в ответах испытуемого, использование методов многомерного
анализа и компьютерных средств обработки данных позволит получить комплексную объективную оценку уровня знаний

Слайд 6

Цель исследования
Разработка инструментальной системы,
предназначенной для определения количественной оценки
комплексной структуры знаний

Цель исследования Разработка инструментальной системы, предназначенной для определения количественной оценки комплексной структуры знаний

Слайд 7

Задачи исследования
1) Разработка алгоритма работы системы
2) Обоснование используемых математических методов
3) Разработка модулей,

Задачи исследования 1) Разработка алгоритма работы системы 2) Обоснование используемых математических методов
реализующих основные блоки алгоритма:
анализа качества содержания компьютерного теста;
автоматического анализа результатов тестирования;
адаптивного теста, минимизирующего стоимость контроля знаний.
оценки достоверности результата тестирования и оценки устойчивости процедуры тестирования
4) Интеграция компонент системы с существующим ПО ДО
5) Проведение эксперимента по внедрению системы в учебный процесс ГрГУ и анализ его результатов

Слайд 8

Научная новизна и практическая значимость
В применении методик многомерного статистистического анализа в области

Научная новизна и практическая значимость В применении методик многомерного статистистического анализа в
построения алгоритмов автоматического контроля качества образовательного процесса и оценки результатов тестирования уровня знаний
В комплексном подходе к тестированию знаний, реализованном в рамках данного исследования, который позволяет повысить возможности компьютерного тестирования знаний до уровня традиционного устного экзамена

Слайд 9

Основные положения работы, выносимые на защиту
1 Возможна эффективная автоматизация методов определения достоверных

Основные положения работы, выносимые на защиту 1 Возможна эффективная автоматизация методов определения
качественных и количественных оценок результатов тестирования уровня знаний, основывающихся на многомерном статистическом анализе.

Слайд 10

Основные положения работы, выносимые на защиту
2 Автоматизация является адекватным средством, позволяющим сделать

Основные положения работы, выносимые на защиту 2 Автоматизация является адекватным средством, позволяющим
объективным этап построения шкалы оценок компонентов теста при его создании

Слайд 11

Основные положения работы, выносимые на защиту
3 Комплексный подход к процессу создания, применения

Основные положения работы, выносимые на защиту 3 Комплексный подход к процессу создания,
и оценке достоверности контроля знаний позволяет создать условия для переноса центра тяжести учебного процесса на самостоятельную контролируемую работу учащихся

Слайд 12

Основные положения работы, выносимые на защиту
4 Процедуры оценки, основывающиеся на многомерном статистическом

Основные положения работы, выносимые на защиту 4 Процедуры оценки, основывающиеся на многомерном
анализе, обладают естественно присущими свойствами, позволяющими организовать адаптивную процедуру тестирования знаний

Слайд 13

Апробация результатов и публикации
Результаты, полученные в ходе данного исследования применялись для оценки

Апробация результатов и публикации Результаты, полученные в ходе данного исследования применялись для
этапного контроля знаний студентов ГрГУ и неоднократно докладывались на заседаниях Советов математического факультета и факультета физической культуры.
По теме исследования опубликовано 6 работ.

Слайд 14

Основная идея предлагаемого метода
Все имеющиеся способы оценки результатов тестирования ограничиваются использованием лишь

Основная идея предлагаемого метода Все имеющиеся способы оценки результатов тестирования ограничиваются использованием
части собираемой в ходе тестирования информации.
В оценке результатов не используется анализ зависимостей между вариантами ответов разных вопросов теста.
С помощью предлагаемого подхода можно увеличить кол-во информации на основании которой вычисляется оценка в десятки раз.

Слайд 15

Входные данные для анализа

а) компьютерные тесты, организованные по схеме:

б) результаты контрольной группы

Входные данные для анализа а) компьютерные тесты, организованные по схеме: б) результаты
проверенные традиционным методом контроля знаний
в) результаты предъявления вопросов теста испытуемому

Слайд 16

Выходная информация

Объективная количественная оценка различных составляющих знаний испытуемого

Выходная информация Объективная количественная оценка различных составляющих знаний испытуемого

Слайд 17

Структура оценки знаний испытуемых

1) традиционная оценка

2) желаемая оценка

3) в интерпретации многомерного статистического

Структура оценки знаний испытуемых 1) традиционная оценка 2) желаемая оценка 3) в
анализа

Общие
знания

Специальные
знания

Способности

Общие
знания

Специальные
знания

Способности

Способности

Специальные
знания

Общие
знания

Слайд 18

Традиционный метод получения оценки

Традиционный метод получения оценки

Слайд 19

Предлагаемый метод получения оценки

Предлагаемый метод получения оценки

Слайд 20

Источник дополнительной информации
!
Ответы разных вопросов теста коррелируют между собой, если вопросы относятся

Источник дополнительной информации ! Ответы разных вопросов теста коррелируют между собой, если
к одной компоненте знаний

Слайд 21

Аспекты реализации предлагаемого подхода
Вашему вниманию предлагается несколько алгоритмов оценки уровня знаний использующих

Аспекты реализации предлагаемого подхода Вашему вниманию предлагается несколько алгоритмов оценки уровня знаний
методы многомерного статистического анализа для учета результатов анализа зависимостей между вариантами ответов в тесте

Слайд 22

Алгоритм объективного формирования теста

Алгоритм объективного формирования теста

Слайд 23

Алгоритм оценки ответа испытуемого

Алгоритм оценки ответа испытуемого

Слайд 24

Алгоритм определения устойчивости оценки знаний

Алгоритм определения устойчивости оценки знаний

Слайд 25

Алгоритм адаптивного контроля знаний

Алгоритм адаптивного контроля знаний

Слайд 26

Реализация предложенных алгоритмов
Методики оценки качества тестов и ответов испытуемых реализованы в программной

Реализация предложенных алгоритмов Методики оценки качества тестов и ответов испытуемых реализованы в
среде R
Решены вопросы интеграции с существующим программным обеспечением поддержки учебного процесса

Слайд 27

APL->S->R

APL->S->R

Слайд 28

Пример реализации метода принципиальных компонент на языке R
prcomp <- function(x, retx=TRUE, center=TRUE,

Пример реализации метода принципиальных компонент на языке R prcomp tol = NULL)
scale.=FALSE,
tol = NULL) {
x <- as.matrix(x)
x <- scale(x, center = center, scale = scale.)
s <- svd(x, nu = 0)
if (!is.null(tol)) {
rank <- sum(s$d > (s$d[1]*tol))
if (rank < ncol(x))
s$v <- s$v[, 1:rank, drop = FALSE] }
s$d <- s$d / sqrt(max(1, nrow(x) - 1))
dimnames(s$v) <-
list(colnames(x), paste("PC", seq(len = ncol(s$v)), sep = ""))
r <- list(sdev = s$d, rotation = s$v)
if (retx) r$x <- x %*% s$v
class(r) <- "prcomp“
r }

Слайд 29

Причины использования RDBMS

быстрый доступ к выбранной части большой базы данных
сохранение

Причины использования RDBMS быстрый доступ к выбранной части большой базы данных сохранение
данных более структурировано, чем предоставляет возможности прямоугольной модели таблицы фрейма данных R
конкурентный доступ множества клиентов, в том числе работающих удаленно, одновременно с разграничением прав доступа к обрабатываемым данным

Слайд 30

Методы интеграции с существующим программным обеспечением ДО
Чтение из сокета
Использование вызова downlоad.file
Интефейс

Методы интеграции с существующим программным обеспечением ДО Чтение из сокета Использование вызова
DCOM
Интерфейс CORBA

Слайд 31

Пример обращения к данным в среде R с помощью вызова интерфейса CORBA
Описание

Пример обращения к данным в среде R с помощью вызова интерфейса CORBA
IDL
Interface Matrix {
long nrow();
long ncol();
double data (in long i, in long);
};
Инициализация BOA на порту 2001
CORBAinit(c("-OAport","2001",commandArgs()))
Обращение к объекту из среды R:
> .Corba("mat","nrov")
[1] 3
> .Corba("mat","ncol")
[1] 4

Слайд 32

Результаты экспериментов
Анализ результатов контрольного среза знаний на 2-ом курсе математического факультета ГрГУ.

Результаты экспериментов Анализ результатов контрольного среза знаний на 2-ом курсе математического факультета ГрГУ.

Слайд 33

Шаг 1
Первые два выделенные ортогональные фактора содержат 64% всей наблюдаемой дисперсии. Целесообразно

Шаг 1 Первые два выделенные ортогональные фактора содержат 64% всей наблюдаемой дисперсии.
проводить анализ используя пространство двух первых выделенных независимых факторов.

Слайд 34

В пространстве первых двух факторов нагрузки наблюдаемых переменных распределились:

В пространстве первых двух факторов нагрузки наблюдаемых переменных распределились:

Слайд 35

В пространстве значений факторов вычисленных для каждого из сдававших тест наблюдается весь

В пространстве значений факторов вычисленных для каждого из сдававших тест наблюдается весь
диапазон возможных значений ответов (хотя и не все сочетания за каждой из точек может стоять несколько студентов получивших одинаковый комплект оценок). Существует одна максимальная оценка и одна минимальная оценка, две противоположные вершины ромба.

Слайд 36

Была построена двумерная гистограмму которая отражает особенности ответов на вопросы теста во

Была построена двумерная гистограмму которая отражает особенности ответов на вопросы теста во
всей группе второкурсников сдававших тест и особенности групп.

Слайд 37

Выводы
Наибольшая доля низких оценок во второй группе. Первая группа середнячки.
Первая вторая и

Выводы Наибольшая доля низких оценок во второй группе. Первая группа середнячки. Первая
пятая группа демонстрирует широкий разброс в направлении «Алгебра -- Геометрия». Пятая группа демонстрирует в целом повышенный уровень знаний.
Третья группа резко «алгебраизирована» и демонстрирует в целом высокий уровень оценок. В меньшей степени выражена «алгебраизация» в четвертой группе, оценки средние.

Слайд 38

Анализ результатов контроля
качества учебного процесса.

Анализ результатов контроля качества учебного процесса.

Слайд 39

Анкета состояла из 18 первичных оценок. Вид функциональной зависимости доли дисперсии выделенного

Анкета состояла из 18 первичных оценок. Вид функциональной зависимости доли дисперсии выделенного
первичного фактора от его порядкового номера четко свидетельствует о наличии простой факторной структуры с числом первичных факторов равным двум.

Слайд 40

Первичные оценки равноудалены от центра координат по причине равносильности и достаточно равномерно

Первичные оценки равноудалены от центра координат по причине равносильности и достаточно равномерно
образуют вклады в значения обоих факторов.

Слайд 41

Требовательность жесткость

Доброже-лательность

Доступность, понятность предмета

Сложность предмета

Требовательность жесткость Доброже-лательность Доступность, понятность предмета Сложность предмета

Слайд 42

С помощью процедур контроля качества можно выделить объективно пределы “нормальной силы” воздействия

С помощью процедур контроля качества можно выделить объективно пределы “нормальной силы” воздействия в отношениях студент-преподаватель.
в отношениях студент-преподаватель.

Слайд 43

Выводы
1 Процедура оценки качества теста знаний заключается в проверке способности теста дифференцировать

Выводы 1 Процедура оценки качества теста знаний заключается в проверке способности теста
опрашиваемую аудиторию по заданным критериям отбора. Реализация данного положения формально сводится к процедуре применения, полученной в ходе дискриминантного анализа контрольной группы, дискриминантной функции к результатам тестирования.

Слайд 44

Выводы
2 Решение проблемы объективного и достоверного тестирования уровня знаний можно решить оценкой

Выводы 2 Решение проблемы объективного и достоверного тестирования уровня знаний можно решить
"образа знаний" тестируемого, привлекая при этом полное сочетание информации даваемой тестом в целом; процедура тестирования при этом строго формализована, и результат однозначно следует из отмеченных ответов проверяемого.

Слайд 45

Выводы
3 Адаптивная процедура тестирования может быть основана на пошаговом выборе оптимального вопроса

Выводы 3 Адаптивная процедура тестирования может быть основана на пошаговом выборе оптимального
(дистрактора) в ходе дискриминантного анализа во время ответа тестируемого.

Слайд 46

Выводы
4 Применение процедуры объективного тестирования, в сочетании с дискриминантным анализом на этапе

Выводы 4 Применение процедуры объективного тестирования, в сочетании с дискриминантным анализом на
проверки и факторным анализом на этапе создания теста, позволяет перейти от оценки знаний к оценке навыков и умений, выявить имеет ли испытуемый целостную картину знаний.
Имя файла: Автоматизированная-система-контроля-уровня-знаний-в-системе-дистанционного-образования-Магистерская-диссертация-по-специальн.pptx
Количество просмотров: 123
Количество скачиваний: 0