Организация мониторинга и формы контроля учебной деятельности при ДО

Самый частый вопрос при организации контроля в ДО - самостоятельно ли учащийся выполнил задания или ему кто-то помогал?
Проблема контроля в ДО

Электронная почта (один на один)
Телеконференции и видеоконференции (многие ко многим)
Чат, ICQ (или qip)
Форум
Блоги
Вики-вики
Обучающие оболочки (тестирующие программы)
Дискуссионные группы (списки рассылки, группы новостей)
Средства контроля в ДО on-line или off-line

Формы контроля в ДО
письменные отчеты и рефераты
веб-квесты
телеконференции
проектная деятельность
анкетирование
«портфель» ученика (студента)
тесты

продолжительность контрольных мероприятий (чем меньше времени студент проведет за компьютером в сети, тем лучше и с финансовой, и с эргономической точек зрения);
оперативность (чем быстрее преподаватель получит ответ от студента, а слушатель – от преподавателя, тем эффективнее процесс обучения);
доступность (выбор технических устройств, программного обеспечения и средств связи и их совместимость);
наличие обратной связи (после проведения контрольного мероприятия студент должен получить ответ от преподавателя с комментариями и оценками);
соответствие используемым педагогическим технологиям (если в основе ДО лежит метод проектов, то формой контроля будет описание выполненного проекта, презентация, защита проекта, если это индивидуальное обучение, то формой контроля может быть тест или отчетный реферат);
соответствие содержанию обучения (чем сложнее изучаемый материал, тем более сложные формы контроля нужно использовать. Например, при проверке знаний терминов можно прибегнуть к обычному тесту, а при изучении проблемной темы явно потребуются другие формы — реферат, собеседование on-line с преподавателем, телеконференция и т.д.);
достоверность (преподаватель должен знать, кто выполнял контрольное задание "на другом конце провода").
Выбор форм контроля в ДО

Проверять выполненные задания может:
преподаватель (самый удобный и качественный вид контроля);
сами ученики (студенты) (взаимопроверка, проверка «по кругу», дискуссия, преподаватель контролирует ход проверки);
компьютерная программа (эффективны «случайные варианты» тестов, наличие счётчиков времени).
Кто оценивает знания в ДО?

Веб-квест в ДО
Одним из примеров новой технологии представления отчетных материалов являются образовательные web-квесты, широко используемые за рубежом.
Образовательный web-квест – это сайт в Интернете, который создают студенты в процессе выполнения той или иной учебной задачи, чаще всего – при проведении учебного проекта.

Виды веб-квестов
Web-квесты служат для максимальной интеграции Интернета в различные учебные предметы. Они охватывают отдельную проблему, учебный предмет, тему или могут быть межпредметными.
Web-квесты — это web-страницы, созданные самими студентами по итогам проведенного исследования, включающие ссылки других сайтов Интернета, логически связанные с изучаемым материалом (базы данных, статьи из сетевых журналов, залы "виртуальных музеев" и пр.).

Структура веб-квеста
Web-квест имеет следующую структуру:
вступление (в котором описаны роли участников, сценарий квеста и план работы);
центральное задание, которое должны выполнить ученики, рассматривая проблему с разных сторон;
роли, которые выбирают ученики, чтобы выполнить задание;
список информационных ресурсов сети Интернет для каждой роли;
описание процедуры работы;
руководство к действию;
заключение.

Ссылки на статьи
Размещение Web-квестов в реальной сети позволяет значительно повысить мотивацию слушателей на достижение наилучших учебных результатов.
Более подробно о методике веб-квестов можно прочитать в статье Ярослава Быховского http://www.ito.su/1999/III/1/15.html и в статье Романцовой Ю.В. (слушательница курса ПК ФИРО) «Веб-квест как способ активизации учебной деятельности учащихся» http://festival.1september.ru/articles/513088/
http://gomulina.newhost.ru/method/qwest1.html Веб-квест "Наблюдение солнечной активности" Н.Н. Гомулиной
http://school-sector.relarn.ru/tanya/3master/webquest_01.html Мастерская образовательных веб-квестов Школьного сектора ассоциации "Реларн"

Веб-квесты слушателей дистанционных курсов ПК ФИРО 2011 г.
https://sites.google.com/site/maskaevaisvo/ Веб-квест по разработке информационной системы в образовании Маскаевой А.М.
http://mchmiga.narod.ru/ Веб-квест по экономике Чмига М.А.
http://val-amochkina.narod.ru/index_w.htm Образовательный WEB-quest по дисциплине "Мультимедийные технологии" Амочкиной В.Г.
http://oinechaeva.narod.ru/site_DO/index.html Веб-квест "Работа в дизайн-студии" Нечаевой О.И.

https://sites.google.com/site/gulmanio/home идеальный по форме веб-квест Гульманова А.А.
https://sites.google.com/site/pitanievrossiiivelikobritanii/home веб-квест Пытиной Н.О.
http://w-k-cimmetriya.narod2.ru/ веб-квест Бабенко О.Б.
http://webkvest.ucoz.ru/main.html веб-квест Комаровой И.В.
http://sveta-tcherniakowa.narod2.ru/ веб-квест Черняковой С.Ю.
http://ikt1413.narod.ru/ikt_2009/web_kwest/otkr/zel.htm веб-квест Ярочкиной Г.А.
Веб-квесты слушателей дистанционных курсов ПК ФИРО 2010 г.

Веб-квесты слушателей дистанционных курсов ПК ФИРО 2007-08 гг.
http://nikulicheva.narod.ru/web_kvest.htm
www.ignatova-e-n.narod.ru
www.kbk-wq.h17.ru
http://katik-quest.narod.ru/
http://eakustova.narod.ru
http://www.shatunova58.narod.ru/index.htm
http://artem-gulemin.narod.ru/index.html
http://docurs.narod.ru/index.htm
http://stihii-4.narod.ru/index.html
http://www.admreform.narod.ru

Отчёты и рефераты в ДО
Письменные отчеты и рефераты используются при изучении какой-либо темы, когда студенты получают задание провести самостоятельное исследование или изучить тему с опорой на представленные в Интернете или в традиционных изданиях первоисточники.
По итогам самостоятельной работы слушатель передает по электронной почте в установленные сроки отчет.
Существуют разновидности отчетов по количеству слушателей, принимающих участие в написании отчетных работ:
индивидуальные (слушатель готовит отчет самостоятельно и передает по электронной почте своему преподавателю);
групповые (слушатели готовят отчеты совместно, обмениваясь по сети своими материалами и составляя коллективный отчет – ОДИН на всю учебную группу).

Виды отчётов по используемым средствам новых информационных технологий
отчеты, подготовленные без использования средств ИТ (без информационных ресурсов Интернета, обучающих программ на CD и пр., т.е. главным образом на основе печатных материалов и учебных видеофильмов);
отчеты, подготовленные с использованием средств ИТ (с использованием средств ИТ как при подготовке, так и для представления, презентации отчета).

Методика подготовки отчётов
Учитывая специфику представления отчетных письменных материалов в Интернете, необходимо максимально облегчить рутинную работу по составлению письменных отчетов и рефератов.
Это можно сделать за счет создания различных "заготовок" отчетов, ответных форм и т.п., что значительно экономит время слушателей, затрачиваемое на работу в сети, и унифицирует ответы, делая их доступными для дальнейшей обработки и анализа преподавателем.
Поэтому педагогу ДО необходимо для контрольной работы, отчёта, реферата, рефлексии давать слушателям файл для скачивания (образец), куда потом останется вписать необходимый материал и выслать педагогу в том же формате.

Телеконференции в ДО
Если тема, изученная слушателями, требует обсуждения, а преподавателю важно узнать глубинное понимание слушателями сути изучаемых явлений, разобраться в их мировоззрении, узнать личное мнение по какому-либо вопросу, могут использоваться как зачетные работы телеконференции.
Для ДО гуманитарным дисциплинам телеконференции должны явиться неотъемлемой частью учебного процесса.
С точки зрения технической реализации в сети телеконференции могут быть организованы:
телеконференции в отсроченном режиме (группы новостей, списки рассылки);
телеконференции в режиме реального времени (чат-конференции);
видео-, теле-конференции.

Проведение теле-, видео-конференции
В условиях российского Интернета наиболее просты с точки зрения организации телеконференции в отсроченном режиме. Если количество участников невелико (5 – 10 человек), и они не находятся в удаленных часовых поясах, имеет смысл проводить телеконференции в режиме реального времени и видеотелеконференции.
При проведении телеконференции слушателя можно оценивать по таким критериям, как:
общая активность участия в дискуссии (количество выступлений);
умение задавать вопросы по теме дискуссии;
умение отвечать на вопросы, аргументировать;
информированность, знание первоисточников;
точность в использовании терминов и понятий по изучаемой теме;
умение выделять главную мысль.

Проектная деятельность в ДО
Проектная деятельность дает возможность преподавателям детально проверить уровень подготовки обучаемых.
Контроль проектной деятельности учащихся во многом субъективен, основан на прямом личном контакте всех участников ДО – преподавателей, слушателей, кураторов учебных групп и т.д. Именно в силу своей субъективности данная форма контроля практически не поддается автоматизации, и при проведении ДО один преподаватель учебной группы не может за один цикл обучения давать регулярную оценку работы более чем 20 – 30 слушателей.
Вместе с тем эта форма экспертной оценки дает возможность оценить такие виды интеллектуальных умений, которые не поддаются контролю со стороны автоматизированных средств.

Формы контроля проектной деятельности
Написание реферата по заданной теме (индивидуально, в паре с другим студентом или в составе группы, работающей по одному проекту);
Референтная оценка работы другого студента, изучающего ту же тему;
Личное интервью с преподавателем (в синхронном или асинхронном режиме);
Оценка работы студента "равными по положению", т.е. другими слушателями, работающими в одной учебной группе;
Оценка независимых экспертов по презентации и защите проекта;
Самооценка работы слушателя.
Все перечисленные методы организации контроля учебной деятельности очень хорошо реализуются в условиях телекоммуникационной сети. Причем не только с помощью наиболее современных синхронных видеотелеконференций, проходящих в режиме реального времени и требующих немалых материальных затрат на свою организацию, но и с помощью ставших уже привычными всем электронной почты и системы асинхронных телеконференций.

Анкетирование в ДО
Для проведения оперативного промежуточного контроля при ДО также очень удобно использовать анкетирование – разнообразные анкеты, рассылаемые слушателям в определенные сроки по электронной почте.
Анкета, наряду с тестами, является одним из самых распространенных средств проведения тестирования учащихся.
В широком смысле анкета – это ряд вопросов, на которые опрашиваемый должен дать ответы. Она является достаточно гибким инструментом, поскольку вопросы можно задавать множеством различных способов, и требует тщательной разработки, апробации и устранения ее недостатков до начала ее массового использования.
В ходе подготовки анкет отбираются необходимые вопросы, выбираются формы этих вопросов, их формулировки и последовательность.
Главное правило – не должно быть лишних вопросов, поскольку необходимо экономить время работы ученика.

«Портфель» ученика в ДО
"Портфель ученика" – это технология формирования рефлексии.
Главное - систематическая работа студента по совершенствованию своих знаний, умений на основе рефлексии.
Пополнение «портфеля» происходит постепенно, по мере выполнения тех или иных проектов, заданий или творческих работ.
Студенты могут обновлять материалы, размещенные в "портфеле", дорабатывать их и изменять вплоть до последней даты представления "портфеля" на суд учителя или независимых экспертов. В этом случае созданный "портфель", включающий рефераты, творческие работы, зачетные и контрольные работы, выполненные им в рамках курса, ранее проверенные преподавателем в ходе текущего контроля, предлагается не просто для обсуждения с целью установления уровня формирования рефлексии, но и с целью итогового контроля сформированных в результате длительной работы на основе рефлексии знаний, умений, навыков.
Итак, основой для "портфеля слушателя" являются выполнение практических заданий, итоговый контроль знаний и аттестация.

Выполнение практических заданий при формировании «портфеля»
выполненные промежуточные или контрольные задания, включая проектные работы, рефераты, исследовательские отчеты. Здесь присутствует как самоконтроль (рефлексия – собственные комментарии) со стороны слушателей курса, так и контроль со стороны преподавателя, также с комментариями слушателя (о дальнейших планах корректировки, устранения недочетов). Также контролируется работа слушателей на интернет-конференции и комментарии самого слушателя;
выполнение мини-тестов к занятиям, самоконтроль плюс проверка результатов тестов преподавателем;
участие в групповых дискуссиях на интернет-конференции, контроль со стороны преподавателя плюс собственный комментарий (рефлексия).

Эффективно:
работа теста в режиме реального времени
4 – 5 различных ответов на одно задание
после выполнения тестов появление результата – комментарии, оценка, рекомендации по дальнейшей работе и т.д.
не менее 30 заданий в on-line тесте (30 минут) – проблемы со связью!!!
Тесты в ДО

Тесты малоприменимы для выявления системы знаний студента, они не могут показать, может ли студент применить свои знания в новых условиях, логически обосновать свое решение.
Высокий тестовый балл не указывает на степень умения самостоятельно и творчески мыслить.
«+» и «-» тестов в ДО

Не всегда удается обеспечить хорошую пропускную способность каналов и линии, по которым пользователи подключаются к тесту, и они "виснут" из-за перегрузки.
Достоверность результатов тестов. Любой пользователь может скопировать себе на диск как сами задания теста, так и ключи к его выполнению. Поэтому ни соревновательного, ни аттестационного тестирования в Интернете, организованного в режиме реального времени, никто не проводит ни в России, ни за рубежом (где тестовая культура исключительно развита). Эти виды тестирования предназначены в основном для самоконтроля.
Отсроченное тестирование - пользователь выполняет тест на локальном компьютере. Далее в установленном порядке файл-протокол с записью ответов слушателя передается по электронной почте или по FTP на сервер головного центра тестирования, где тест и проверяется.
Проблемы тестирования в ДО

Необходимо соотнести выбираемую форму с содержанием обучения и используемой педагогической технологией.
Если в процессе обучения на дистанционных курсах студенты осваивают некий объем так называемых академических знаний:
четких понятий
определений
конкретных фактов
терминов или иноязычных слов
В этом случае нужно проверить, как они усвоили положенный лексический объем новых слов и тесты будут уместны, и их применение позволит быстро получить результаты и сделать выводы об эффективности проведенного обучения.
Уместность тестов в ДО

защита на техническом уровне — это использование различных шифров и кодировок для защиты самих тестов от несанкционированного доступа, запуск программ тестирования строго по паролям;
защита на организационном уровне — это создание сети региональных (городских, районных и т.п.) центров тестирования, имеющих официальную лицензию на проведение тестирования слушателей в регионах, обеспечивающих организованное прохождение тестирования под наблюдением методистов-преподавателей и технических консультантов;
защита на психологическом уровне — это жесткое ограничение времени на ответ, случайное перемешивание вариантов ответов и заданий из обширного банка;
защита на статистическом уровне — это когда степень правдоподобия полученных протоколов оценивается с помощью специальных алгоритмов многомерного анализа данных, позволяющих обнаружить подлог, особенно в случае систематического и массового подлога.
Защиты данных тестирования от фальсификаций

При оценивании ответов слушателей привычными ступенями "отлично", "хорошо", "удовлетворительно" и "неудовлетворительно" не удается добиться объективности и достоверности.
Разные преподаватели в разных учебных центрах один и тот же ответ могут оценить совершенно по-разному.
Принято использовать методику рейтинговых оценок, при которой зачетный итоговый балл формируется чисто статистически и привносит элемент соревновательности, сравнения с уровнем подготовки учащихся из разных городов, регионов и стран.
Международный тестологический стандарт для проведения тестирования ориентирует на то, что при определении проходного балла при телетестинге важным становится не количество выполненных заданий, а процент испытуемых, набравших определенный тестовый балл.
Подсчет результатов тестов в ДО

Достоверный и эффективно работающий тест – это сложный продукт, обладающий определенными свойствами и характеристиками и отвечающий современным методическим требованиям:
Тест обладает составом, целостностью и структурой.
Состоит из заданий, правил их применения, оценок за выполнение каждого задания и рекомендаций по интерпретации тестовых результатов.
Целостность теста проявляется во взаимосвязи заданий, включенных в него.
Ни одно из заданий не может быть изъято из теста без ущерба для него.
Структура теста проявляется в способе связи заданий между собой.
Создание теста предполагает тщательный анализ содержания учебной дисциплины, классификацию учебного материала, установление межтематических и межпредметных связей, укрупнение дидактических единиц с последующим представлением этих единиц через элементы композиции задания.
Признаки качественного теста в ДО

Тесты бывают двух видов: традиционные и нетрадиционные.
Традиционные тесты представлены в виде системы заданий возрастающей трудности, имеющие специфическую форму, позволяющие качественно и эффективно измерить уровень и оценить структуру подготовленности учащихся.
В зависимости от того, по скольким учебным дисциплинам включены в тест задания, традиционные тесты разделяют на гомогенные (проверяющие знания по одному предмету) и гетерогенные (по нескольким предметам).
Виды тестов

Нетрадиционные тесты представлены интегративными, адаптивными и критериально-оценочными тестами:
Интегративные – нацелены на общую итоговую диагностику подготовленности выпускника учебного заведения. В одном тесте предъявляются знания из двух и более учебных дисциплин.
Адаптивные тесты позволяют регулировать трудность предъявляемых заданий в зависимости от ответов тестируемого. При успешном ответе компьютер выдает следующее задание, более трудное по сравнению с предыдущим, а в случае неудачи – более легкое.
Критериально-оценочные тесты предназначены для того, чтобы узнать, какие элементы содержания учебной дисциплины усвоены, а какие – нет. При этом они определяются из так называемой генеральной совокупности заданий, охватывающей всю дисциплину в целом.
Виды тестов

Задания с выбором одного или нескольких правильных ответов. Среди них выделяются такие разновидности, как:
выбор одного правильного ответа по принципу: один – правильный, все остальные (один, два, три и т.д.) – неправильные;
выбор нескольких правильных ответов;
выбор одного, наиболее правильного (точного) ответа.
Задания открытой формы, которые сформулированы так, что готового ответа нет. Нужно сформулировать и вписать ответ самому в отведенное для этого место.
Задания на установление соответствия, где элементам одного множества требуется поставить в соответствие элементы другого множества.
Задания на установление правильной последовательности (вычислений, действий, шагов, операций, терминов в определениях).
Выбор формы теста зависит от цели тестирования, содержания теста, технических возможностей, а также уровня подготовленности преподавателя в области теории и методики тестового контроля знаний.
Основные формы тестовых заданий

Знание названий, имен.
Знание смысла слов, названий и имен.
Знание фактов.
Знание определений.
Сравнительные, сопоставительные знания.
Знание противоположностей, противоречий, антонимов и тому подобных объектов.
Ассоциативные знания.
Классификационные знания.
Причинные знания, знание причинно-следственных отношений, знание оснований.
Процессуальные, алгоритмические, процедурные знания.
Технологические знания.
Вероятностные знания.
Абстрактные знания.
Методологические знания.
Классификация видов и уровней знаний (В.Аванесов)

Уровень его трудности в целом и отдельных тестовых заданий
Расположение вопросов в порядке возрастающей трудности
Больше всего в процентном отношении составить вопросов средней трудности
При подборе заданий ориентироваться на общий уровень подготовленности тестирующихся
Так, например, при прохождении тестирования слабой по подготовленности группы учащихся, трудные задания теста "не работают", так как ни один учащихся не может на них ответить.
У сильной группы учащихся не будут "работать" слабые задания, т.к. все ответят на все вопросы, и т.п.
Самым лучшим можно считать тест, в котором заложено широкое содержание, и оно охватывает более глубокие уровни знаний.
Что необходимо учесть при разработке теста

тест должен соответствовать целям тестирования;
нужно определить значимость проверяемых знаний в общей системе знаний;
должна быть обеспечена взаимосвязь содержания и формы теста;
тестовые задания должны быть правильными с точки зрения содержания;
должна соблюдаться репрезентативность содержания учебной дисциплины в содержании теста;
тест должен соответствовать современному уровню науки;
содержание теста должно быть комплексным и сбалансированным;
содержание теста должно быть системным, но вместе с тем вариативным.
Принципы разработки тестов

Краткая инструкция по выполнению задания, например: "Выберите правильный ответ..."; "Выберите наиболее правильный ответ..."; "Впечатайте в свободное поле ответ..." и т.п. Если задания представлены в одной форме, инструкция пишется один раз для всего теста. Если они различны по форме, то перед каждым заданием пишется новая инструкция.
Текст задания оформляется прописными буквами или жирным шрифтом для того, чтобы зрительно сразу же отделить само задание от вариантов ответа.
Текст заданий (и ответов!) компьютерных тестов необходимо делать кратким и лаконичным. Краткость обеспечивается тщательным подбором слов, символов, графиков, позволяющих минимумом средств добиваться максимума ясности смысла задания.
Полностью должны исключаться повторы слов, малопонятные, редко употребляемые слова, а также неизвестные учащимся символы, иностранные слова, затрудняющие восприятие смысла.
Оформление теста

Одно из важных требований при тестировании – наличие заранее разработанных правил выставления баллов.
В общем случае применения тестов за правильный ответ в каждом задании дается один балл, за неправильный – ноль.
Сумма всех баллов, полученных учащимся, дает число правильных ответов. Это число ассоциируется с уровнем его знаний и понятием "тестовый балл испытуемого".
Но существуют и другие, более сложные схемы оценивания, например рейтинговые.
Правила выставления баллов

Общие требования, предъявляемым к заданиям в тестовой форме
логическая форма высказывания;
правильность формы;
краткость;
наличие определенного места для ответов;
правильность расположения элементов задания;
одинаковость правил оценки ответов;
одинаковость инструкции для всех испытуемых;
адекватность инструкции форме и содержанию задания.

Сочетание возможностей CD-технологий и сети Интернет
Создаётся обучающая программа по дисциплине. Обучение организовано по нескольким уровням. На каждом уровне (этапе) учащимся предлагается выполнить ряд упражнений.
Проверить правильность выполнения заданий можно тремя способами:
вызвав подсказку с самого учебного диска;
передав упражнение сетевому роботу (проверочной программе), установленному на интернет-сайте;
передав упражнение лично преподавателю, курирующему данного слушателя.
Ответ от сетевого робота будет получен значительно быстрее, зато преподаватель, прислав сообщение по электронной почте, даст в них личные советы слушателю по изучаемой теме.

Новые формы контроля в будущем
сориентированные на самостоятельное исследование
должны появиться в массовом порядке компьютерные модели и симуляции отдельных процессов и явлений, которые уже широко используются при разработке образовательных программ на CD, но еще не нашли широкого применения в условиях Интернете в силу значительных финансовых затрат, необходимых для их создания.

Итоговый контроль в ДО
оценка содержания портфеля (аттестация содержания материалов портфеля, проводимая преподавателем или независимыми экспертами в предпоследнюю неделю курса);
оценка активности слушателей на интернет-конференции (оценка активности слушателей в групповых дискуссиях, анализ участия слушателей во всех web-форумах и чатах, проведенных в рамках курса в соответствии с учебным планом с учетом самооценки);
оценка общеучебных навыков (анализ всех выполненных слушателем работ, оценка самостоятельности, уровня критического мышления, умения работать с различными источниками информации, в составе учебных групп, в сотрудничестве с другими участниками обучения).

Подсчёт баллов при итоговой аттестации в ДО
Итоговая аттестация проводится по 100-балльной системе. Подсчет баллов осуществляется на основе итогового контроля знаний, при котором:
60 % баллов набираются из оценки "портфеля";
25 % – за участие в групповых дискуссиях на интернет-конференции;
15 % – за общеучебные умения.
Студенты курса информируются преподавателем о набранных баллах и итоговом результате обучения (аттестации или неаттестации) не позднее чем за неделю до окончания курса.
В идеальном (и наиболее эффективном) варианте курсы ДО предусматривают непродолжительные очные сессии и личные встречи преподавателя и слушателей, например в начале обучения и в последнюю неделю занятий.

Литература
Педагогические технологии дистанционного обучения. Под редакцией Полат Е.С.; М.: Академия, 2008.
Новые педагогические и информационные технологии в системе образования. Под редакцией Полат Е.С.; М.: Академия, 2009.
Звонников В. И., Челышкова М. Б.. Современные средства оценивания результатов обучения. – М.: Академия, 2007.
Дыхан Л.Б., Кукушин В.С., Трушкин А.Г. Педагогическая валеология. – М: МарТ ИКЦ, 2005.