Приоритеты и решения, принимаемые при проведении общенациональной оценки

1. Кто должен осуществлять политическое руководство программой общенациональной оценки?
Учредить национальный руководящий комитет (РК) для осуществления общего руководства.
РК должен
Иметь авторитетный статус
Обеспечить учёт ключевых вопросов политики
Решать проблемы, возникающие при реализации
Повысить вероятность того, что результаты оценки будут использоваться для разработки политики в будущем

Кто должен входить в РК?
Представители министерства образования, а также такие основные заинтересованные стороны, как:
Представители основных этнических, религиозных и языковых групп;
Группы, члены которых в перспективе должны будут действовать на основе результатов:
Лица, отвечающие за подготовку учителей,
Учителя
Школьные инспекторы и
Лица, отвечающие за учебные планы.

Сколько работы придётся выполнять РК?
Не перегружать себя совещаниями и обязательно заниматься текущей реализацией задач
Осуществлять руководство на начальном этапе путем:
Определения задач и обоснования оценки,
Определения разделов учебной программы и классов, подлежащих оценке
Выбора организации или организаций, проводящих оценку.

Рабочая нагрузка Руководящего комитета
Основная активность на начальном и заключительном этапе
Изучение предварительных экземпляров тестов и вопросников и ознакомление с предлагаемыми процедурами
Осуществлять руководство и
Обеспечивать, в первую очередь, сбор той информации, потребность в которой и вызвала необходимость оценки.
Также должен изучать предварительные отчёты исполнительной организации.

2. Кто должен проводить общенациональную/ региональную оценку?
Авторитетная группа или организация, чтобы работа вызывала уважение и повышала вероятность широкого признания полученных результатов.
Это может быть
Группа, сформированная на уровне министерства образования;
Независимая организация (университет, научный центр),
Не национальные группы специалистов.

Группа из министерства образования?

Группа из экзаменационного органа?

Группа из университета/исследовательского центра?

Необходимые знания и умения
В своей основе это - коллективная работа.
Группа должна быть гибкой, желающей работать очень напряжённо и в духе сотрудничества, готовой учиться новым подходам.
Руководитель группы должен иметь
хорошие навыки руководителя и
политическую проницательность

Необходимые знания и умения
Группа должна обладать современными знаниями и умениями в таких областях:
Разработка контрольных заданий и вопросников
Выборочное исследование
Очистка данных
Статистический анализ
Составление отчётов

Задачи
Организация семинаров для составителей заданий и администраторов тестов;
Организация издания и распространения тестов, вопросников и инструкций;
Связь со школами;
Разработка учебных материалов;
Сбор и регистрация данных.

Задачи (продолжение)
Анализ учебной программы,
Разработка таблиц спецификаций или макетов тестов;
Предварительная разработка заданий;
Отбор заданий после предварительного или пробного проведения и выдача рекомендаций по
Начислению баллов/исправлению открытых вопросов и вопросов с множественным выбором

3. Кто будет проводить тесты и опросы? Учителя?
Учителя оцениваемых учащихся редко бывают администраторами тестов, даже если это:
Удобно с точки зрения проведения,
Очень экономично
Учителя, которым приходится оценивать своих учащихся:
Могут подумать, что оценивается эффективность их преподавания.
Могут не удержаться от оказания помощи учащимся.
Могут делать копии тестов или тестовых заданий.
Может повысить как обеспокоенность общественности, так и результаты оценивания.

Администраторы? Инспекторы и преподаватели педагогических учебных заведений?
Преимущества
Вероятно, имеется опыт классной работы.
Могут наблюдать реальное обучение в классе.
Повышенный интерес к результатам.
Вероятно, знают все места расположения школ
Недостатки
Могут быть слишком строгими.
Возможен дефицит времени.
Могут заниматься одновременно инспектированием.
Обходятся дороже учителей.
Могут не следовать подробным инструкциям

Администраторы? Сотрудники оценочной/экзаменационной комиссии?
Преимущества
Профессиональная квалификация.
Напрямую подотчетны своим комиссиям.
Как правило, надёжные.
Хорошо ведут отчётность.
Советуются перед принятием важных решений.
Недостатки
Могут быть чрезмерно строгими, особенно те, кто привлекается для наблюдения за госэкзаменами.
Возможно, у них недостаточно свежего опыта классной работы.
Возможно, недостаточно опыта для тестируемого уровня.
Их услуги дороги.

4. Кто будет оцениваться?
Те, кто не охвачены школьным обучением?
Год обучения? Обычно зависит от того, что министерство образования хочет выявить.
Например:
США: 4, 8 и 12 классы;
Колумбия: 3, 5, 7 и 9 классы ;
Уругвай:дошкольники и 1, 2 и 6 классы;
Африка (Англо-говорящие) SACMEQ:6 классы
Африка (Франкоговорящие) PASEC: 2 и 5 классы

5. Проводить сплошную или выборочную оценку?
Обычно выборочно, так как:
Снижает расходы на печатание, проведение тестов, очистку данных и работу с информацией;
Требует меньше времени на очистку данных, анализ и отчётность;
Легче осуществлять надзор за работой на местах и подготовкой данных;
Из выборки можно получить информацию высокого качества
Этого достаточно для разработки политики

Проводить сплошную или выборочную оценку?
Оценивание по переписи может использоваться для поддержания подотчётности школ (например, в Англии и Чили)
На основе выборки: невозможно определить конкретные школы, нуждающиеся в поддержке;
Можно сочетать сплошное оценивание (по переписи) и использование выборки, например в Коста-Рике, на Кубе, во Франции;
В регионах/провинциях использовались данные переписи (например, в Мексике и в некоторых регионах Бразилии и Колумбии).

6. Что будет оцениваться?
Общенациональное оценивание
Языка/грамотности и
Математики/ способности к количественному мышлению
Некоторые страны оценивают другие предметы, включая:
естественные науки,
общественные науки и
религию

Схема работы
Сделать процесс оценки прозрачным
Начать с общего определения или постановки цели;
Обосновать проведение оценки;
Перечислить, что необходимо измерять
Определить особые характеристические задачи или переменные, которые будут использоваться;
Указать на показатели оценки работы учащихся

Подход к чтению в рамках PIRLS
(Проект "Исследование качества чтения и понимания текста»)
Концентрируются и извлекают явно выраженную информацию [20%]
Делают непосредственные выводы [30%]
Объясняют и объединяют идеи и информацию [30%]
Проверяют и оценивают содержание, язык и элементы текста [20%]

Дополнительная информация
Информация о возможных факторах, характеризующих учащихся, школу или домашнюю обстановку, повлиявших на достижения
Пол и образовательная предыстория учащегося,
Повторное прохождение класса; школьные ресурсы, включая доступность учебников
Уровень образования учителей и их квалификация
Социально-экономическое положение семей учащихся.

Как собирают информацию?
Обычно информацию получают из вопросников, включающих шкалу установок, раздаваемых
Учащимся,
Учителям,
Старшим учителям и директорам,
Иногда родителям.
Также отметьте, что учителя проходили тестирование (например во Вьетнаме)

7. Каким образом оценивать достижения?
Можно иметь
Средний процент вопросов, на которые учащиеся ответили правильно или
Результаты могут быть сопоставлены с произвольным средним значением (например 500)
Это мало говорит об уровне знания предмета учащимися

Типы заданий
В большинстве национальных и международных оценок полагаются на множественный выбор Все чаще в оценивание включают свободные задания, в которых от учащихся требуется написать слово, фразу или предложение

Множественный выбор
Андрей Аршавин – это
O Композитор 19-го века
O Русский посол во Франции
O Космонавт в 1980-х годах
O Футболист

Задание с ответом в свободной форме
Ирина и Борис нашли дерево, на котором 400 яблок.
Борис пытается сбить яблоко с дерева при помощи палки. Он говорит, что у него, по крайней мере, 160% шансов сбить одно яблоко..
Вы согласны с Борисом или нет?
Объясните_____________________
________________________________

Другие вопросы
Используете ли вы единый тест или тест, состоящий из блоков
(множество книг, чтобы оценить содержание)
На каком языке (или языках)
Каким образом вы будете определять достоверность теста (его соответствие)?

8. Как часто будет проводиться оценка?
Варьируется от страны к стране
США: чтение и математика каждые два года, а другие предметы - реже.
Международные оценки уровня умений чтения (PIRLS) каждые пять лет.
PISA каждые 3 года; охват основных предметов каждые 9 лет.
Каждый год, если целью оценки является подотчётность учителей

Как часто будет проводиться оценка?
Один раз в три–пять лет вполне достаточно (для предмета на определённом году обучения)
Образовательные системы меняются не так быстро, поэтому маловероятно, что при более частом оценивании будут фиксироваться изменения.
Слишком частое оценивание, вероятнее всего, ограничит влияние результатов, а также повлечёт ненужные затраты.

9. Каким образом докладывать о достижениях учащихся? Информация на уровне задания
В Гане только один процент учащихся правильно ответили на вопрос о преломлении света в исследовании TIMSS
Такого рода информации вероятнее всего будет интересна методистам учебных заведений и преподавателям педагогических учебных заведений.

Каким образом сообщать о достижениях учащихся? Показатели в области знаний предметов учебной программы

Каким образом докладывать о достижениях учащихся? Показатели (нормативы) умений: Пример PISA

Каким образом докладывать о достижениях учащихся?
Нормативы: (Shiel, 2010)

10. Какого рода статистические анализы должны проводиться?
Определяемые вопросами политики
Большинство дают сведения о достижениях, сгруппированные по полу, по регионам, по местонахождению, этническим или языковым группам и по типу школы (государственная или частная).
Могут обратить внимание на качество оснащения школы
Комплексный анализ необходим, когда нужно определить, как школа и окружение влияют на достижения.

11. Каким образом должны сообщаться и использоваться результаты общенациональной оценки?
Специальный отчёт
Краткие сводные отчёты по основным полученным выводам для таких занятых политических деятелей, как министр
Пресс релизы
Специальные отчёты для радио и телевидения; и
Отдельные короткие отчёты для школ, учителей, разработчиков учебных планов и преподавателей педагогических учебных заведений

12. Из чего складываются затраты на проведение национальной оценки?
Исполнительная организация
Содержание и построение инструмента
Число участвующих школ и учащихся
Администрация
Подсчёт баллов, очистка и ввод данных
Анализ
• Отчётность
Последующие мероприятия