Инструмент оценки информационно-коммуникационной компетентности выпускников основной школыТестирование компетентности в обл

Рост образовательных результатов при инвестициях в образовательные результаты
Кривые возврата инвестиций в образование при росте его качества на 0.5 стандартного отклонения, которые получены экономистами Всемирного банка реконструкции и развития (World Bank Policy Research Working Paper 4122, February 2007).
Десятилетние вложения, приводящие в результате к заметному повышению уровня образовательных результатов школьников, дают надбавку к ВВП сопоставимую по объему с общими затратами на образование в стране

Содержание презентации
Оценка ИКТ- компетентности: цели, задачи, целевая аудитория
Методика тестирования ИКТ- компетентности
Спецификация теста
Разработка тестовых заданий: пример
Система автоматической обработки результатов тестирования
Анализ результатов тестирования

Образование в ХХI веке – образование в век изменений
Информатизация – процесс изменения содержания, методов и организационных форм учебной работы для подготовки будущих жителей информационного общества
Изменение педагогических практик
Образовательные стандарты XXI века
Образовательные результаты XXI века
ИКТ насыщенная образовательная среда, проблема 1:1…
Опора на новые ресурсы
Контентно насыщенная образовательная среда
Цифровые учебно-методические материалы
Нормативная база работы ОУ в ИКТ насыщенной образовательной среде

Почему образовательные результаты XXI века?
Какие навыки и характеристики приобретут большую значимость в ближайшие пять лет?

Цели тестирования ИКТ-компетентности
Цель: обеспечить реалистичную и разностороннюю оценку ИКТ-компетентности с помощью тестовых заданий, основанных на реальных ситуациях
Тестирование призвано:
стать важным инструментом для обсуждения и выработки образовательной политики в области формирования ИКТ-компетентности.
обеспечить объективную оценку готовности выпускников школы жить и работать в информационном обществе.
оценить, в какой мере существующее направление развития образования в стране обеспечивает внедрение ИКТ в учебный процесс образовательного учреждения.
Целевая аудитория: учащиеся при переходе из основной школы в старшую (9-классники)

Существующие тесты оценки ИКТ-компетентности (грамотности)

Существующие тесты оценки ИКТ-компетентности (грамотности)
Большая часть существующих тестов измеряет техническую грамотность и основаны на формате вопрос-ответ (не жизненные ситуации), для оценки результатов используют простые баллы или IRT статистику.
QCA Key Stage 3 ICT Test (британская национальная система тестирования ИКТ-грамотности, измеряет знания, навыки и умение решать проблемы при использовании ИКТ, основан на сценарии, формирующее оценивание, закрывается из-за низкой валидности)
iCritical Thinking, бывшее iSkills, ETS (измеряет ИКТ грамотность студентов вузов, основана на сценариях, оценка результатов – IRT)
Australian National Assessment Program – ICT Literacy (выборочное исследование, основано на сценариях, оценка результатов – IRT)
Internet and Computing Core Certification - IC3 (понимание как работает компьютер, знание ключевых программ и работа с Интернетом)
Information Literacy Test (когнитивный, в форме вопрос-ответ, т.е.не основан на сценарии, результаты только на групповом уровне)
International Computer Drivers License (измеряет технические знания, в формате вопрос-ответ на бумаге
Standardized Assessment of information literacy skills – SAILS (измеряет информационную грамотность ВНЕ среды ИКТ, форма вопрос-ответ на бумаге или через web- интерфейс)
TRAILS: Tool for Real-time Assessment of Information Literacy Skills (измеряет информационную грамотность, в форме вопрос-ответ, отдельно по 5 категориям навыков)

Преимущества данной системы тестирования
Интерактивность, автоматизированный характер процесса тестирования и оценки его результатов
Использование ситуаций из реальной жизни при разработке сценария для тестовых заданий
Акцент на оценке НЕ уровня сформированных технологических навыков и навыков владения учащимися определенным программным продуктом или техническими возможностями компьютера, но СПОСОБНОСТИ оперировать информацией, решать практические задачи, используя ИКТ, мыслить и работать в «цифровом» мире
Обязательно условие: соблюдение этических и правовых норм при использовании цифровых технологий и инструментов/средств коммуникации. Это важно для формирования социально-ответственной личности
Автоматическая обработка результатов тестирования, основанная на использовании сетей Байеса

ИКТ- КОМПЕТЕНТНОСТЬ: ОПРЕДЕЛЕНИЕ И СОСТАВЛЯЮЩИЕ

Что такое ИКТ-компетентность
ИКТ- компетентность – это способность использовать цифровые технологии, инструменты коммуникации и/или сети для получения доступа, управления, интеграции, оценивания, создания и передачи информации с соблюдением этических и правовых норм для того, чтобы функционировать в обществе, основанном на знании/чтобы успешно жить и трудиться в условиях современного информационного общества .

Составляющие ИКТ-компетентности
На основании определения American Library Association

Составляющие ИКТ-компетентности
Определение: умение сформулировать запрос таким образом, чтобы он способствовал поиску информации
Доступ: умение/способность найти и собрать (retrieve – восстанавливать, исправлять) информацию из различных источников
Управление: умение применить существующую организационную или классификационную схемы (для структурирования, размещения/сохранения информации и быстрого ее поиска в дальнейшем)
Интеграция: умение интерпретировать и представлять/осмыслять (representing) информацию - вычленять самое главное, сравнивать или противопоставлять информацию, полученную из нескольких источников
Оценка: умение составить мнение о качестве, нужности/релевантности, полезности или эффективности информации
Создание: умение создавать или адаптировать информацию с учетом конкретной потребности/задачи, выражать главную мысль и приводить информацию, подтверждающую ее
Передача: умение адаптировать информацию для конкретной аудитории

Спецификация теста
Тест состоит из 16 заданий, основанных на решении РЕАЛЬНЫХ ЖИЗНЕННЫХ СИТУАЦИЙ (учебных, социо-культурных и др.), с которыми человек сталкивается в течение всей жизни (7 ИКТ-компетенций)
При выполнении заданий от участника тестирования потребуется:
осуществлять поиск
проводить различные действия с данными и передавать их
отбирать и анализировать информацию
создавать или выбирать презентационные материалы для конкретной целевой аудитории
принимать решения о правомерности и этичности использовании полученной информации.

Тест включает задания разные по степени СЛОЖНОСТИ и ПРОДОЛОЖИТЕЛЬНОСТИ выполнения
Тест состоит из 16 заданий, разных по степени сложности и продолжительности выполнения.
Общая продолжительность тестирования - не более 2-х академических часов

При выполнении теста используются различные ИНСТРУМЕНТЫ

ТЕСТ, ПОСТРОЕННЫЙ НА СИСТЕМЕ ДОКАЗАТЕЛЬСТВ
Концептуальные подходы к разработке инструмента оценки ИКТ-компетентности

Компетенции и как их можно измерить
Тест, построенный на системе доказательств
Компетенция/Компетентность – это то, что мы хотим измерить
Измеряемое доказательство – как обнаружить и интерпретировать то, что позволяет измерить впрямую не измеряемые навыки/как получить измеряемое доказательство впрямую не измеряемых компетентностей

Тест, построенный на системе доказательств
Концептуальные подходы к разработке инструмента оценки ИКТ-компетентности
Что мы измеряем?
Уровень ИКТ- компетентности (7 ИКТ- компетенций)
Как мы можем оценить уровень ИКТ-компетентности? Как мы можем обнаружить/судить об…
Через систему измеряемых доказательств
Как мы измеряем уровень ИКТ-компетентности?
Через систему тестовых заданий

Пример тестового задания
Задание «Работа с почтовым ящиком/ электронной почтой»
Данное задание измеряет/определяет уровень компетенции «Управление информацией» с помощью реальной жизненной ситуации:
необходимо разобрать/рассортировать электронные письма, накопившиеся в большом количестве в почтовом ящике за время каникул.

Шаг 1. Ситуация

Шаг 2. Интерфейс приложения

Шаг 3. Инструкция по выполнению задания

Шаг 4. Выполнение задания

Шаг 5. Завершение задания

Тестовое задание – обработка результатов
«Работа с почтовым ящиком»: автоматическая обработка результатов тестирования
Измеряемая компетенция:
УПРАВЛЕНИЕ
Наблюдаемые признаки/Измеряемые переменные, по которым можно судить о наличии данной компетенции (Observables):
Точность в управлении информацией
Сохранение информации для того, чтобы ее не потерять
Сохранение информации для того, чтобы в дальнейшем ее легко и быстро можно было найти.
Как измерить 1-й наблюдаемый признак/ переменную №1:
Если участник тестирования сохранил все нужные письма и удалил все остальные (ненужные), то он достигает уровня «ВЫСОКИЙ» по 1-ому наблюдаемому признаку;
Если задание выполнено на 80-99%, то участник тестирования достигает уровня «СРЕДНИЙ» по данному признаку.
Если менее 80% писем рассортированы/обработаны правильно, то уровень «НИЗКИЙ».

Наблюдаемые признаки/Измеряемые переменные (Observables)

Автоматическая обработка результатов тестирования: сети Байеса

Профили, необходимые для классификации компетенций

Результаты тестирования школьников
Результаты тестирования:
ПРОДВИНУТЫЙ: 46%
ВЫШЕ БАЗОВОГО: 52%
БАЗОВЫЙ: 0,9%
НИЖЕ БАЗОВОГО: 1%
ФОРМИРУЮЩИЙСЯ: 0,1%

Способ проведения тестирования
(Test Delivery)
Доступ к тестовой системе осуществляется через Интернет или с локального сервера (например, со школьного сервера, или же с любого компьютера, который подключен к локальной сети и в который загружена тестовая система).
Технология протокола удаленного рабочего стола (Remote Desktop Protocol technology)
Результаты отсылаются на сервер по защищенному каналу (securely) и хранятся там в закрытом доступе/ и доступ к ним ограничен(privately).

Общая схема проведения тестирования

Анализ результатов тестирования/
Отчет о результатах тестирования
Отчеты о результатах тестирования доступны по Интернету/ можно посмотреть в Интернете (на закрытом веб-сайте/на веб-сайте с ограниченным доступом).
Отчеты представлены как индивидуальные, т.е. на отдельного участника тестирования, так и групповые, т.е. на группу в целом.
Планируется разработать специальный инструмент для анализа результатов тестирования в режиме on-line. С его помощью можно будет, например, сравнивать результаты разных групп школьников, разных школ, регионов и т.д.

НЕКОТОРЫЕ РЕЗУЛЬТАТЫ РЕАЛИЗАЦИИ АНАЛОГИЧНОГО ПРОЕКТА В РОССИИ
ИКТ-тестирование 9-классников Республики Татарстан

Методика формирования выборки учащихся
Общее количество учащихся, обучающихся в девятых классах, 37854
Требования к проведению тестирования:
Надёжность = 95%
Доверительный интервал = 5%
Вариант 1
Прямая выборка 380 учащихся
Ограничения
чрезмерные организационные затраты – учащиеся выбираются из более, чем 250 школ республики.
Вариант 2
Выборка учащихся формируется из отдельных классов в ОУ РТ
Случайный выбор ОУ, из расчёта на то, что в тестировании примет участие лишь один класс
К тестированию приглашено 422 учащихся (с резервом при 90% явке )

Выборка учащихся для оценки ИКТ
Оценка ИКТ компетентности учащихся 9 классов Республики Татарстан
с 22 по 26 ноября 2010 года

Сводные результаты обработки данных

Что думают школьники о тестировании ИКТ- компетентности