ВЕБИНАР «Общественная оценка результатов образования: проект РИА Новости “Социальный навигатор”» Социальные рейтинги по образ

Три вопроса, которые мы сегодня обсудим
Что такое социальные рейтинги, кому и зачем они нужны?
Как сделать социальный рейтинг, результатам которого будут доверять и специалисты и непрофессионалы?
Всероссийский рейтинг школ повышенного уровня: о чем говорят первые уроки?

Кому и зачем нужны рейтинги?
(по данным опроса РИА Новости – февраль-март 2012 года)

Сегодня для публичного представления данных по образованию (для массовой аудитории), как правило, используют
РЕЙТИНГИ (англ. rating) — информационно-аналитические продукты, содержащие оценку значимости, масштабности, важности объектов (организаций), на основе комплексного числового показателя или номера места, занимаемого ими в ряду сходных объектов –
используются для представления информации в рамках модели - business-to-business (B2B) (информация для компаний, а не для индивидуальных пользователей или клиентов)
РЭНКИНГИ (от англ. to rank — ранжировать) — это список любых объектов (например, компаний, стран, людей и т. п.), который можно упорядочить по любому из имеющихся ранжирующих показателей. В отличие от рейтинга, это не зафиксированная форма или методика расчета, а база данных для получения всех интересующих вариантов ранжирований исходного списка –
используются для представления информации в рамках модели - business-to- consumer (B2C) (информация для конечного потребителя)

Например:

Выбор варианта представления определяется:
информационными потребностями целевой аудиторией, на которую ориентирован информационный продукт;
целями формирования информационного продукта (для чего формируется, на что хотим повлиять? – цели заказчика).

Например:
Если хотим задать приоритеты развития системы
Если хотим дать информацию для выбора

Поэтому рейтингов и рэнкингов может быть много, и они могут быть различные, так как:
ориентированы на разные целевые группы (одного информационного продукта, ориентированного на разные целевые группы, быть не может)
преследуют разные цели (один и тот же информационный продукт не может работать и на развитие системы, и на инспекцию по выполнению поставленных задач)
строятся как внутри системы, так и на внешних площадках

Но создаваемые рейтинги и рэнкинги должны отвечать установленным международным стандартам: сегодня в их основе лежат
«Правила аудита рейтингов (IREG Ranking Audit Rules)»
(приняты 16—17 мая 2011 г. )
ЦЕЛЬ, ЦЕЛЕВЫЕ ГРУППЫ, КЛЮЧЕВОЙ ПОДХОД
Критерий 1
Цель ранжирования и (ключевые) целевые группы должны быть четко определены. Ранжирование должно соответствовать заявленной цели. Это включает и систему индикаторов, учитывающих цель ранжирования.
Критерий 3
Ранжирование должно уточнять языковой, культурный, экономический и исторический контекст оцениваемых образовательных систем. Индикаторы, используемые в международных системах ранжирования, должны обеспечивать достаточную сопоставимость между соответствующими странами.

Но создаваемые рейтинги и рэнкинги должны отвечать установленным международным стандартам: сегодня в их основе лежат
«Правила аудита рейтингов (IREG Ranking Audit Rules)»
(приняты 16—17 мая 2011 г. )
МЕТОДОЛОГИЯ
Критерий 4
Индикаторы, выбираемые для ранжирования, должны быть релевантными и валидными. Ранжирование должно ясно объяснять выбор параметров и то, что они должно показывать.
Критерий 5
Хорошее ранжирование должно сочетать различные точки зрения, учитывать данные, полученные из различных источников информации, для того, чтобы получить более полный взгляд на каждое учебное заведение, включенное в ранжирование. В случае, если ранжирование затрагивает только один аспект деятельности вузов или же использует для построения ранжирования только один источник информации, это ограничение должно быть четко обозначено.
Критерий 6
Всегда, когда это возможно, предпочтительнее использовать для ранжирования оценку результатов деятельности вузов, нежели оценку исходных параметров.

Но создаваемые рейтинги и рэнкинги должны отвечать установленным международным стандартам: сегодня в их основе лежат
«Правила аудита рейтингов (IREG Ranking Audit Rules)»
(приняты 16—17 мая 2011 г. )
МЕТОДОЛОГИЯ
Критерий 7
Рейтинги должны содержать подробную информацию о применяемой методологии и быть с этой точки зрения транспарентными. Методы, выбираемые для построения ранжирования, должны быть ясными и понятными. Так же должна быть отражена информация о разработчиках методологии ранжирования и возможном внешнем оценивании.
Критерий 8
Если ранжирование использует комплексные индикаторы, то должны быть опубликованы веса отдельных индикаторов. При проведении ранжирования в течение продолжительного периода не должно происходить частого изменения весов индикаторов. Если такие изменения происходят, то для этого должны быть методологические или концептуальные обоснования.
Институциональные ранжирования должны содержать объяснение методов агрегирования результатов для всего учебного заведения. При проведении институциональных ранжирований следует учитывать эффекты для различных образовательных структур при агрегировании их результатов.

Но создаваемые рейтинги и рэнкинги должны отвечать установленным международным стандартам: сегодня в их основе лежат
«Правила аудита рейтингов (IREG Ranking Audit Rules)»
(приняты 16—17 мая 2011 г. )
ПУБЛИКАЦИЯ И ПРЕЗЕНТАЦИЯ РЕЗУЛЬТАТОВ
Критерий 11
Ранжирование должно быть доступно для пользователей в течение года либо в печатном виде, либо интерактивно.
Критерий 12
Публикация ранжирования должна содержать описание методов и индикаторов, используемых при ранжировании учебных заведений. При этом эта информация должна учитывать имеющиеся сведения о ранжировании у основных целевых групп.
Критерий 13
Опубликованное ранжирование должно содержать информацию о баллах для каждого отдельного индикатора, используемых для расчета комплексного индикатора. Это необходимо для того, чтобы пользователи могли самостоятельно проверить подсчет результатов ранжирования. Комплексные индикаторы не должны содержать неопубликованных индикаторов.

Например:

Но создаваемые рейтинги и рэнкинги должны отвечать установленным международным стандартам: сегодня в их основе лежат
«Правила аудита рейтингов (IREG Ranking Audit Rules)»
(приняты 16—17 мая 2011 г. )
ТРАНСПАРЕНТНОСТЬ, ОПЕРАТИВНОСТЬ
(большая открытость процесса рейтингования ведет к большему доверию к результатам ранжирования)
Критерий 18
При ранжировании необходимо обеспечить качество самих процедур ранжирования.
Критерий 19
Внутренние процедуры обеспечения качества ранжирования должны быть задокументированы. В том числе задокументированы должны быть процессы сбора и организации данных, так же как и качество данных и индикаторов.
Критерий 20
Необходимо осуществлять организационные меры для повышения доверия к результатам ранжирования, что может включать в себя создание консультативных или контрольных органов, желательно с привлечением международных организаций.

Формирование данных стандартов привело к появлению нового информационного продукта – Социального рейтинга
Это гибрид двух подходов, рассмотренных выше (рейтингов и рэнкингов), направленный на качественную оценку организаций и услуг социальной сферы (в частности образования) с целью удовлетворения информационных запросов потребителей услуг
(для профессионалов его влияние носит латентный характер)

Несмотря на свой потребительский характер, социальный рейтинг должен отвечать всем действующим нормам, применимым к рейтингам или рэнкингам, а именно:
должен иметь качественную методологию, прошедшую достойную доверия экспертизу
должен иметь качественный инструментарий сбора данных на основе достойных доверия источников
должен представляться (публиковаться) на достойной доверия (со стороны потребителей) площадке
должен использовать все имеющиеся формы и способы представления информации (быть мультимедийным по своему характеру), так как у разных потребителей разные особенности восприятия информации (здесь фактически действуют те же принципы, что в рамках работы учителя на уроке в школе)
должен иметь механизмы обратной связи с читателем (блоги, чаты, форумы)

Рассмотрим пример формирование такого социального рейтинга на кейсе: «Всероссийский рейтинг школ повышенного уровня РФ»

Рейтинг вышел (на странице «Социальные рейтинги» РИА Новости)
Пилотная версия (три региона: Московская, Самарская, Новосибирская области - 392 школы) – 27 сентября 2011 года (http://ria.ru/ratings_multimedia/20110927/444084327.html)
Версия по итогам широкомасштабной апробации
(восемь регионов: Москва – по желанию, Московская, Самарская, Новосибирская, Иркутская области, Республика Удмуртия, Пермский и Красноярский Край – 597 школы)
- 14 февраля 2012 года
(http://ria.ru/ratings_multimedia/20120214/562296565.html)

Рейтинг вышел
в рамках партнёрства с Межрегиональной Ассоциацией Мониторинга и Статистики образования (исполнительный директор – М.Л. Агранович), специалисты которой стали авторами Методики рейтинга (http://vid1.rian.ru/ig/ratings/Metodika_school.pdf)
при поддержке региональных министерств образования и региональных центров оценки качества образования – участников проекта

Концепция рейтинга отвечает на вопросы:
Для чего делается этот рейтинг ? – для формирования информационной основы выбора школы на основе данных внешней независимой оценки.
Кто его читатель? -
основные: родители учащихся школ (все возрастные группы), жители регионов;
опосредованные: руководители школ, руководители органов управления образованием (региональные, муниципальные).
Кто его участники? – школы повышенного уровня (лицеи, гимназии, школы с углубленным изучением отдельных предметов) российских регионов.
Характер участия в рейтинге? – обязательный для всех школ повышенного уровня.
Период обновления данных? – ежегодно.
Источники данных? – только внешние и проверяемые.
Формы представления? – по объектно, по каждому региону отдельно.

Методика рейтинга описывает:
Предмет оценки – условия и результаты обучения в школах повышенного уровня .
Направления оценки - определяются на основе предварительной оценки информационного запроса потенциальной читательской аудитории (приоритет отдается позициям, значимым для родителей учащихся):
доступность обучения;
условия обучения;
результаты обучения;
возможность индивидуального развития учащихся.
Критерии (индикаторы) оценки –
выбираются на основе приоритетности информационного запроса родителей;
отражают результаты деятельности школы (не процессы);
обеспечивают сопоставимость результатов оценки: между разными школами в одном регионе, между школами разных регионов, во времени.
Источники данных – внешние и проверяемые источники (федеральная и региональная статистика, сайты школ, доп. анкетирование).
Математическая модель расчета результатов оценки по каждому объекту – по отношению к средней по массиву данных, приведенных к сопоставимому виду.
Модель формирования рейтинга - от большего к меньшему по всему массиву объектов (вне зависимости от региональной принадлежности).

Проект Методики прошел три уровня экспертизы:
1 уровень – в рамках Центра социальных рейтингов РИА Новости – на соответствие Концепции рейтинга.
2 уровень -
(внешняя экспертиза) – в рамках международного Экспертного совета по образованию РИА Новости – на корректность и адекватность современным требованиям избранного содержательного подхода к оценке, направлений и критериев оценки, используемых в методике терминов и определений;
(внутренняя экспертиза) – в рамках РИА Новости на базе рейтингового агентства «РИА Рейтинг» – на соответствие международным требованиям к рейтингам и корректности используемой математической модели.
3 уровень –
Проведение пилота по разработанной методике – на выборке трех регионов (Самарская, Новосибирская, Московская области – 392 школы)
Проведение апробации – на выборке восьми регионов (597 школ) (Москва – по желанию, Московская, Самарская, Новосибирская, Иркутская области, Республика Удмуртия, Пермский и Красноярский Край)

Сбор данных включал:
сбор данных федерального статистического наблюдения;
сбор региональных баз по школам (на основе открытых источников – сайты школ и сайты региональных органов управления образованием – Центром социальных рейтингов РИА Новости) и их выверка с участием региональных координаторов проекта (как правило - РЦОКО);
сбор дополнительных данных от школ (по разработанному опроснику) - с участием региональных координаторов проекта (как правило - РЦОКО).
Проверка доп. данных проводится трижды:
в регионе;
в федеральном центре обработки данных проекта;
в Центре социальных рейтингов РИА Новости.

Обработка данных и проведение оценки:
приведение данных к сопоставимому виду;
расчет значений индикаторов для каждого объекта – школы;
расчет комплексных показателей по каждому направлению оценки для каждого объекта – школы, по всем направлениям в целом;
расчет средних по общему массиву (определение максимальных и минимальных значений по каждому направлению оценки);
проведение оценки для каждого объекта – школы (оценка отклонения от среднего между определенными максимальным и минимальным значением);
формирование частных и сводного рейтингов;
проведение анализа по результатам оценки и описание полученных результатов (интерпретация).

Цифры начали говорить

Лидеры рейтинга были отмечены

Таким образом, создание социального рейтинга - это работа большой команды профессионалов:
менеджеров, которые управляют всеми процессами – от момента формирования Концепции рейтинга до момента его публикации;
экспертов – разработчиков Методики и инструментария;
экспертов – аналитиков;
экспертов внутренних и внешних, которые читают все материалы и дают конструктивные предложения и советы;
региональных координаторов, которые обеспечивают своевременное получение необходимой информации;
редакторов баз данных, которые обеспечивают достоверность данных;
дизайнеров;
программистов;
журналистов;
продюсеров;
сотрудников пресс-служб.

Основные уроки реализации первого года проекта:
Политические:
неготовность региональных органов исполнительной власти к введению реальных процедур внешней независимой оценки качества образования;
но готовность использовать результаты рейтинга для наказания и поощрения директорского корпуса в регионах.
Методологические:
непонимание методологии проведения оценки со стороны специалистов региональных образовательных систем.
Лингвистические:
непонимание терминологии и цифровых значений, используемых в рамках оценки, со стороны родительского сообщества.

Основные уроки реализации первого года проекта:
Политические:
результаты проведенной в рамках рейтинга оценки стали информационной основой для рассмотрения вопроса школ «повышенного уровня» в рамках Стратегии 2020
А сам проект получил профессиональное признание:
«Перспективным является развитие национальных и региональных информационных Интернет-сервисов, обеспечивающих поддержку потребителя в поиске и осознанном выборе образовательных организаций и услуг. Первым успешным примером такого рода является проект «Социальный навигатор», реализуемый РИА-Новости»
[Стратегия 2020: Развитие сферы образования и социализации в Российской Федерации в среднесрочной перспективе. Доклад экспертной группы «Новая школа». С.29 // Вопросы образования. №1, 2012].

Что дальше?
Рейтинг муниципальных (государственных) дошкольных образовательных учреждений восьми регионов РФ – сентябрь 2012 года
Рейтинг сайтов региональных органов управления образованием – сентябрь 2012 года
Рейтинг школ повышенного уровня РФ – в феврале 2013 года
Рейтинг сайтов школ РФ – в первом квартале 2013 года