Программа международной оценки обучающихся: Мониторинг знаний и умений в новом тысячелетии PISA 2012

Кто проводит исследования
Международная ассоциация по оценке образовательных достижений IEA
Организация экономического сотрудничества OECD

Исследования проводимые IEA
TIMSS (1995,1999,2003,2007,2008,2011,2015)
PIRLS(1991,2001,206,2011)
CIVIC (1999,2000,2008)
TEDS(2008)
ICILS(2012)

Исследования проводимые OECD
PISA (2000,2003,2006,2009,2012)
TALIS (2008)
PIAAC(2011)
AHELO(2012)

Цели PISA 2012
Цель:
оценить способность учащихся 15-летнего возраста (1996 г.р.) использовать приобретенные в школе знания и опыт для решения широкого диапазона практических задач в различных сферах человеческой жизнедеятельности.
Дополнительные цели:
оценка чтения электронных текстов, решение интерактивных задач, оценка сформированности учебных стратегий, оценка финансовой грамотности .
Политические цели:
оценка качества и эффективности образования, равенства доступа к образованию.

Задачи PISA 2012
оценить функциональную грамотность учащихся 15-летнего возраста в области чтения, математики и естествознания (2/3 отведено математике)
выявить динамику результатов (2000, 2003, 2006, 2009, 2012)
выявить факторы, объясняющие различие в результатах.

Особенности PISA 2012
в исследование участвуют 42 субъекта РФ (вместо 45).
227 ОУ.
7000 учащихся, среди которых учащиеся 7-9, 11-х классов, а также НПО, СПО.
в основном исследование принимают участие 5000 учащихся, из них 50% будут принимать участие в компьютерном тестирование + 1750 учащихся примут участие в оценке финансовой грамотности.
дополнительное исследование PISA-2012 будет проведено на выборке TIMSS 2011 (около 5000 учащихся)

Дизайн исследования
1. Письменное тестирование
математика
естествознание
чтение
финансовая грамотность
Компьютерное тестирование
решение проблем
математика (интерактивные задачи)
чтение электронных текстов

Структура теста
В PISA 2012 реализована кластерная структура:
9 математических кластеров;
3 естествознание;
2 чтение.

Структура теста
Стандартные и легкие тетради
страны, показавшие при проведении исследования PISA 2009 результат ниже среднего – 480 баллов– легкие тетради
страны, показавшие результат выше 480 баллов, либо не принимавших участие в PISA 2009 – имеют право выбора
РФ – 459 баллов

Анкеты
Анкеты предназначены для сбора контекстной информации (дополнительных показателей).
для учащихся (определение социально-экономических условий)
для администрации ОУ
использование ИКТ

Математическая грамотность
Виды деятельности, задействованные при решении задач:
формулировать (умение увидеть возможность для применения ЗУН в области математики);
применять математические рассуждения, факты, методы и инструменты для получения решения;
интерпретировать полученное решение математической задачи (приемлемо ли оно в данной ситуации, имеет ли оно смысл)

Математическая грамотность
Математическое содержание
пространство и формы (геометрия)
изменения и зависимости (алгебра)
количество (арифметика)
неопределенность (статистика, математический анализ)

Задание «Рекламная тумба»
В городе Н. расставлено множество рекламных тумб. На них люди размещают информацию о различных культурных мероприятиях, акциях, распродажах и т.д. Все тумбы изготовлены по следующему чертежу:
110 см
260 см
Вопрос №1
Группа «Шер» приезжает в город Н. с гастролями. Перед приездом продюсер группы проводит широкую рекламную компанию. Для наружной рекламы он заказал постеры размером 50 на 60 см. Сколько постеров потребуется для того, чтобы полностью заклеить ими 40 тумб и тем самым обеспечив хорошую наружную рекламу. При расклеивание постеров между ними не должно быть зазоров, но вместе с тем они не должны нахлестываться друг на друга.

Задание «Транспорт»
Вася П. ездит в школу разными способами: на школьном автобусе или на своем велосипеде. В течение нескольких дней Вася из любопытства записывал время, которое он затрачивал на дрогу в школу в следующую таблицу.
Все значения в таблице расположены по возрастанию, последняя колонка содержит
средние значения за все дни.
Вопрос №1
Верны ли следующие утверждения?
В среднем, Вася добирается на велосипеде быстрее, чем на автобусе Верно/Неверно (обведи нужный ответ)
Скорее всего, на велосипеде Вася доберется до школы меньше чем за 19 минут Верно/Неверно (обведи нужный ответ)
Вася заполнял таблицу в течение пяти дней
Верно/Неверно (обведи нужный ответ)
Путь, занявший самое длительное время, Вася проделал на автобусе
Верно/Неверно (обведи нужный ответ)

Типы заданий
Всего 46 заданий, содержащих 84 вопроса.
задание с выбором ответа – 32 (38%)
задание с кратким ответом – 39 (46%)
задание с записью решения – 13 (15%)

Финансовая грамотность
Когнитивный элемент, подлежащий исследованию, включает в себя:
знание финансовых продуктов (кредитные карты, чеки, банковский счет, страховка, пенсия)
понимание финансовых терминов (интерес, деньги, накопления, инфляция, доход, риск, права покупателей)
способность принимать эффективные решения в различных финансовых ситуациях, направленные на рост финансового благополучия личности и семьи.
Исследуемые умения:
оценка полученной информации
вычисление процентов
перевод валюты
анализ текста договора
Акцент расставлен на решение собственных финансовых проблем.

Финансовая грамотность
Содержание заданий:
деньги и денежные операции (30-40%)
планирование и управление финансами (25-35%)
риски и вознаграждения (15-25%)
Отдельные вопросы из области финансов (10-20%)

Задание «Monkey»
Петя А. читал журнал «WorldCompGames» и ему попалось на глаза следующие рекламное объявление, которое его очень заинтересовало.
Надоела однообразная музыка на телефоне, а скачивать из интернета лень? Отправь слово MONK на короткий номер 1111 и уже сейчас ты получишь новую популярную мелодию «Monkey» всего за 5 дзенек. С «Monkey» ты всегда на правильной волне!*
* Совершив вышеуказанное действие гражданин соглашается с тем, что он подключает услугу рассылки популярных мелодий на его телефонный номер. Абонентская плата за пользование услугой составляет 5 дзенек в сутки, которые будут ежедневно списываться с его счета в 00:01 или в момент подключения. Стоимость отключения услуги составляет 20 дзенек. Подключение бесплатное.
Петя подключил себе данную услугу. На момент подключения на его счету было 75 дзенек. В течение следующей недели Петя не пополнял свой счет.
Вопрос №1
Сколько денег осталось на счету Пети, на пятый дней пользования услугой, начиная со дня подключения.
Вопрос №2
Сколько денег было бы списано со счета Пети, если бы он отключил услугу в тот же день, когда и подключил.

Компьютерное тестирование
Чем вызвано использование компьютеров для сбора информации?
расширение уровня взаимодействия учащихся с заданием (анимация+интерактивность => эмпирическое решение заданий)
исследование грамотности в области ИКТ (решение проблем связанных с использование ПО, вычислительных устройств)
исследование грамотности чтения ЭЛЕКТРОННЫХ текстов

Компьютерное тестирование
Составляющие исследования:
решение проблем
математическая грамотность (апробация, в связи с курсом на общую компьютеризацию исследований к 2015 году)
чтение электронных текстов (поиск информации, умение ориентироваться в структуре электронного документа)
Структура:
2 кластера по 20 минут – 15 заданий (41 вопрос).

Задания
Демонстрация заданий

Процедура проведения PISA 2012
Сроки проведения:
с 9 апреля по 18 мая 2012 года
Передача материалов:
Все материалы исследования должны быть переданы в Национальный центр не позднее 25 мая 2012 года.

Процедура проведения PISA 2012
Материалы для Проводящего письменное тестирование в образовательном учреждении:
«открытый» конверт
жёлтый «закрытый» пакет с тетрадями
фиолетовый «закрытый» пакет с анкетами

Процедура проведения PISA 2012
Материалы для Проводящего компьютерное тестирование в образовательном учреждении: «открытый» конверт
пакет с USB-накопителями

Процедура проведения PISA 2012
1 конверт «открытый» для каждого образовательного учреждения содержит:
Список учащихся, отобранных для тестирования
Форму участия в письменном тестировании – 2 экз.
Руководство по проведению тестирования
Анкету для администрации ОУ
Форму возврата материалов
Отчет по результатам исследования PISA-2009

Процедура проведения PISA 2012
1 жёлтый «закрытый» пакет содержит:
Тетрадь с тестами для каждого отобранного учащегося/студента плюс 1-2 дополнительные тетради
1 фиолетовый «закрытый» пакет содержит:
Анкету для каждого отобранного учащегося/студента плюс 2 дополнительные анкеты

Процедура проведения PISA 2012
Что делать с полученными материалами?
«Закрытые» пакеты откладываются до тестирования – их можно вскрыть не раньше чем за 1 час до начала проведения исследования.
С содержимым конверта необходимо ознакомиться заранее.

Процедура проведения PISA 2012
Обязанности лица, проводящего тестирование в ОУ
проверка и хранение материалов, полученных от Регионального координатора;
подготовка к проведению исследования;
проведение письменного тестирования и анкетирования или компьютерного тестирования;
обеспечение стандартизированной процедуры тестирования;
документальное подтверждение того, что исследование в школе проводилось в соответствии с международными требованиями:
Заполнение Формы участия
Заполнение Протокола проведения тестирования
сбор материалов исследования;
отправка материалов в Региональный центр.

Процедура проведения PISA 2012
Новосибирская область
г. Новосибирск, МОУ СОШ №138
Полный ID учащегося: 00 01 010 I00004
Ф.И. класс,курс,: Алексанов Илья, 10а
№ тетради: 13
Новосибирская область
г. Новосибирск, МОУ СОШ №138
Полный ID учащегося: 00 01 010 I00004
Ф.И. класс,курс,: Алексанов Илья, 10а
№ тетради: 13
Материалы письменного тестирования: для каждого учащегося, отобранного для тестирования, предусмотрена одна тетрадь и одна анкета. На обложке каждой тетради и анкеты (кроме дополнительных) есть наклейка с указанием идентификатора учащегося.

Процедура проведения PISA 2012
Для чего нужны дополнительные тетради и анкеты?
1-2 дополнительные тетради и 2 дополнительные анкеты предназначены для использования в случае обнаружения брака печати или повреждений, делающих невозможным полноценное участие учащегося в тестировании или анкетировании.
В случае использования дополнительных тетрадей или анкет на их обложку должна быть переписана следующая информация с наклейки, размещенной на бракованной или поврежденной тетради или анкете:
- Полный ID учащегося;
- Фамилия и имя учащегося, класс/группа.

Процедура проведения PISA 2012
СПИСОК ОБУЧАЮЩИХСЯ, ОТОБРАННЫХ ДЛЯ ТЕСТИРОВАНИЯ PISA-2012 (MS)

Процедура проведения PISA 2012
ФОРМА УЧАСТИЯ В ПИСЬМЕННОМ ТЕСТИРОВАНИИ PISA-2012 (MS)
Форма участия (2 экз. в конверте)

Процедура проведения PISA 2012
ПРОТОКОЛ ПРОВЕДЕНИЯ ПИСЬМЕННОГО ТЕСТИРОВАНИЯ PISA-2012

Процедура проведения PISA 2012
ФОРМА ВОЗВРАТА МАТЕРИАЛОВ

Процедура проведения PISA 2012
Материалы для проведения компьютерного тестирования:
USB-накопители (число USB-накопителей зависит от числа отобранных учащихся и выбранной модели проведения компьютерного тестирования);
Форма с данными для входа к систему тестирования (1 форма для каждого отобранного учащегося);
Форма участия в компьютерном тестировании (2 экз.);
Протокол проведения компьютерного тестирования (2 экз.).

Процедура проведения PISA 2012
СТАНДАРТИЗАЦИЯ ТЕСТИРОВАНИЯ
1. Организационная часть: раздача тетрадей,
чтение инструкции и т.д. 10-15 минут (примерно)
2. Тестирование (первый час) 1 час (ровно)
3. Перерыв не более 5 минут
4. Тестирование (второй час) 1 час (ровно)
5. Ответы на вопросы анкеты в конце тетради 5 минут
6. Перерыв 15 минут
7. Анкетирование 40 минут (примерно)
Важно, чтобы учащиеся успели ответить на все вопросы анкеты.
При необходимости время на заполнение анкет можно добавить.
8. Сбор материалов тестирования и анкетирования 3-5 минут (примерно)
Всего: около 3,5 часов

Процедура проведения PISA 2012
1. Подготовка компьютерного класса 15 минут
2. Регистрация учащихся при входе в систему
тестирования (с указанием пароля) 5 минут
3. Выполнение тренировочного теста 15 минут
4. Выполнение основного теста 40 минут (ровно)
5. Завершение работы, сбор материалов и
передача данных 15 минут
Всего: около 1,5 часов

Процедура проведения PISA 2012
При проведении письменного тестирования важно:
- удостовериться в том, что учащиеся, сидящие за одной партой, выполняют разные варианты теста. (При необходимости нужно рассадить учащихся.)
- удостовериться в том, что каждый учащийся получил свою тетрадь с предусмотренным именно для него номером (на тетрадях имеются наклейки с указанием фамилии ученика).
При проведении компьютерного тестирования важно:
- удостовериться в том, что каждый учащийся получил свою Форму с данными для входа в компьютерную систему.
Тестирование должно проходить строго по Сценарию проведения, приведенному в Руководстве по проведению тестирования.

Процедура проведения PISA 2012
Документальное подтверждение того, что исследование в ОУ проводилось в соответствии с международными требованиями:
Заполнение Формы участия
Заполнение Протокола проведения тестирования
Расчет коэффициента участия учащихся в тестировании и проведение дополнительного тестирования (при необходимости)

Процедура проведения PISA 2012
В исследовании PISA при заполнении Формы участия и Протокола проведения письменного тестирования используются два вида кодов:
Двузначный код тестирования/анкетирования
Первая цифра означает номер Проводящего. Если в ОУ только один Проводящий, то двузначный код будет начинаться с цифры «1», если два Проводящих, то для второго он будет начинаться с цифры «2».
Вторая цифра означает порядковый номер тестирования или анкетирования, проводимого данным Проводящим.
Однозначный код (статус участия учащихся в тестировании и анкетировании) ставится в колонки 9-10 Формы участия
Тестирование (колонка 9):
1 – присутствовал;
0 – отсутствовал;
2 – частично присутствовал (отсутствовал более 10 мин.)
Анкетирование (колонка 10):
1 – присутствовал;
0 – отсутствовал.

Процедура проведения PISA 2012
В исследовании PISA при заполнении Формы участия и Протокола проведения компьютерного тестирования используются два вида кодов:
Двузначный код тестирования
Первая цифра означает номер Проводящего. Если в ОУ только один Проводящий, то двузначный код будет начинаться с цифры «1», если два Проводящих, то для второго он будет начинаться с цифры «2».
Вторая цифра означает порядковый номер компьютерного тестирования, проводимого данным Проводящим.
Однозначный код (статус участия учащихся в тестировании) ставится в колонку 8 Формы участия
0 – не участвовал (не по причине технических проблем);
1 – участвовал;
2 – частично участвовал (не по причине технических проблем)
3 – частично участвовал (по причине технических проблем);
4 – не участвовал (по причине технических проблем).

Процедура проведения PISA 2012
Определения необходимости проведения дополнительного письменного тестирования :
Число А – Число учащихся, вошедших в Список обучающихся, отобранных для тестирования. Обычно это число равно 43. Но в ряде ОУ оно может быть меньше (в зависимости от общего числа учащихся 1996 г.р.);
Число B – Число учащихся, которым в колонке 12 Списка обучающихся, отобранных для тестирования проставлен один из следующих кодов исключения:
«2», «3», «4», «5» или «n»;
Число C – Число учащихся, присутствовавших на тестировании.

Процедура проведения PISA 2012
Коэффициент R (процент) участия учащихся в основном тестировании рассчитывается по следующей формуле:
Число учащихся, присутствовавших на тестировании
R = ------------------------------------------------------------------------------ х 100 %
Общее число учащихся, вошедших в Список обучающихся,
за исключением тех, у кого в колонке 12 проставлен
код исключения
ИЛИ
C
R = ---------------- х 100 %
A – B

Процедура проведения PISA 2012
В образовательном учреждении для тестирования было отобрано 15 учащихся 1996 г.р. (число А). Двое из них имеют код исключения в колонке 12 Списка учащихся, отобранных для тестирования (число B). Двенадцать учащихся присутствовали на тестировании (число С).
Рассчитаем коэффициент участия для этого ОУ:
Коэффициент участия оказался выше 90%. При условии небольшого числа отобранных учащихся (до 10 человек) допускается отсутствие только 1 человека; в этом случае дополнительное тестирование не проводится.

Процедура проведения PISA 2012
Во время тестирования можно отвечать на вопросы только по процедуре тестирования, но не по содержанию теста
Учащиеся могут пользоваться калькуляторами
Во время анкетирования можно отвечать на вопросы учащихся, поясняя смысл вопросов анкеты. Для этого необходимо использовать комментарии для Проводящего, приведенные в Приложении 1 Руководства по проведению.

Процедура проведения PISA 2012
После окончания тестирования и анкетирования Проводящий тестирование должен собрать ВСЕ тетради и анкеты ИЛИ USB-накопители вместе с откорректированным Списком учащихся, заполненными соответствующими Формой участия и Протоколом проведения тестирования
Статус участия учащегося должен быть зафиксирован в Форме участия
Все пункты Протокола проведения тестирования должны быть заполнены