Основы теории и методики педагогических измерений

План
Понятийный аппарат
Формы заданий в тестовой форме
Формы тестовых заданий

Литература
Аванесов, В.С. Композиция тестовых заданий, М., 2004
Гулидов, И.Н. Педагогический контроль и его обеспечение / И.Н. Гулидов. – М.: Форум, 2005. – 240 с.
Звонников, В.И. Современные средства оценивания результатов обучения: учебное пособие / В.И. Звонников, М.Б. Челышкова. – М.: Издательский центр «Академия», 2007. – 224 с.
Новое в оценке образовательных результатов: международный аспект Assessment in transition: learning, monitoring and selection in international perspective / Под ред. А. Литтл, Э. Вулф; пер. с англ. М.С. Добряковой. – М.: Просвещение, 2007. – 367 с.
Педагогика. Учебное пособие для студентов педагогических вузов и педагогических колледжей / Под ред. П.И. Пидкасистого. – М.: Педагогическое общество России, 2000. – 640 с.
Шамова Т.И. Современные средства оценивания результатов обучения / Т.И. Шамова, А.Н.Худин, Г.Н. Подчалимова, И.В. Ильина, С.Н. Белова. М.: Педагогическое общество России, 2007. - 286 с.

Качество образования - комплексная характеристика образовательной деятельности и подготовки обучающегося, выражающая степень их соответствия федеральным государственным образовательным стандартам, образовательным стандартам, федеральным государственным требованиям и (или) потребностям физического или юридического лица, в интересах которого осуществляется образовательная деятельность, в том числе степень достижения планируемых результатов освоения образовательной программы.
Федеральный закон «Об образовании в Российской Федерации» (ст.2)

Диагностика – установление и изучение признаков объекта, определяющих его развитие и позволяющих предотвратить нежелательные отклонения в его развитии
Измерение – процесс применения числа и меры для изучения определенных качеств личности
Контроль – система научно обоснованной проверки качества результатов образовательного процесса

Средство - это материальный или идеальный объект, который использован учителем и обучающимся для усвоения (оценивания) новых знаний.
Педагогические измерения в школьном образовании – это подсистема управления его качеством, позволяющая установить степень соответствия достигнутого уровня образовательного процесса и его результата нормам и требованиям, устанавливаемым государственным стандартом общего образования
Педагогический тест определяется как система репрезентативных и параллельных заданий, специфической формы, возрастающей трудности, позволяющая качественно оценить структуру и измерить уровень подготовленности испытуемых

Оценка - а) суждение об определенном феномене, представленном в качественной (квалитативной) или количественной (квалиметрической) форме;
б) соотнесение какого-либо объекта с принятым критерием, образцом, нормой;
в) меру качества (числовую и семантическую) образовательного процесса, выражающую собой соотнесенность измерений свойств с базой, которая фиксирует эталонный уровень, норму качества
Исследование - описание, изучение качества образовательного процесса; выяснение соотношение между ожидаемым и полученным результатом
Оценивание – процесс получения результата

Тестология – наука о тестах
Ключевые понятия:
педагогическое задание,
тест,
содержание и форма заданий,
надежность и валидность результатов измерения. понятия статистической науки, (выборочная и генеральная совокупность, корреляция и др.)
Педагогическое задание – средство интеллектуального развития, обучения, способствующее активизации учения, повышению подготовленности учащихся, а также повышению эффективности педагогического труда. Задания могут формулироваться как в тестовой, так и в не тестовой форме

Главные понятия педагогической теории измерений
задание в тестовой форме
- тестовое задание
- тест качество результатов
тест о-перевод с англ. test - проба, испытание, метод
Смысл этого слова охватывает любой метод проверки, даже субъективный

Условия эффективности педагогических измерений:
- социально направленный вектор образовательной политики государства;
- управление тестовым процессом общественно-профессиональными организациями;
- добровольность тестирования;
- взаимодействие (партнёрство) испытуемых, родителей, образовательных организаций всех типов и органов управления образованием;
Назовите типы образовательных организаций. (ст.23 №273 –ФЗ)

Основные преимущества настоящих тестов:
1.Высокая научная обоснованность теста, позволяющая получать объективированные оценки уровня и структуры подготовленности испытуемых; роль аргументации.
2.Технологичность и эффективность тестов; их сочетаемость с другими образовательными технологиями.
3. Точность измерений, адекватность цели.
4. Сопоставимость результатов.

Педагогический тест состоит из заданий в тестовой форме или тестовых заданий.
Задание 1: Изучите главу 3 (стр. 79-88) учебного пособия Шамова Т.И. Современные средства оценивания результатов обучения / Т.И. Шамова, А.Н.Худин, Г.Н. Подчалимова, И.В. Ильина, С.Н. Белова. М.: Педагогическое общество России, 2007. - 286 с.
Дополнительно можно использовать материалы Reader 1

Контрольные вопросы
Дайте определение критериально-ориентированным и нормативно-ориентированным тестам.
Назовите основные недостатки и преимущества критериально-ориентированных и нормативно-ориентированных тестов.
Раскройте основные виды тестов по процедуре создания, средствам однородности задач; направленности, характеру действий, ведущей ориентации, целям использования; объективные и проективные тесты; широко ориентированные и узко ориентированные.
Охарактеризуйте формы тестовых заданий по В.С. Аванесову.
Охарактеризуйте четыре вида систем заданий в тестовой форме.

Таксономия Кэрола и Блума

Таксономия Кэрола и Блума

КЛАССИФИКАЦИЯ ИНДИВИДУАЛЬНЫХ РЕЗУЛЬТАТОВ ПО УРОВНЯМ УСВОЕНИЯ ЗНАНИЙ
(по В.П. Беспалько)
Первый (низший) уровень: узнавание объектов, свойств, процессов при повторном восприятии информации о них или действий с ними (знания-знакомства). Это начальный уровень освоения деятельности в процессе обучения. На этом уровне обучающийся не способен самостоятельно, без помощи извне, воспроизводить и применять полученную информацию.
Второй уровень: воспроизведение и применение информации для выполнения данного действия (знания-копии). Обучающийся на этом уровне способен по памяти воспроизводить ранее усвоенную информацию и применять усвоенные алгоритмы деятельности для решения типовых (стандартных) задач.
Третий уровень: применение и использование информации для самостоятельного выполнения нового действия (знания, умения, навыки). Это уже высокий уровень деятельности, достижение которого позволяет решать широкий круг нетиповых задач. Этот уровень предполагает использование обучающимися комбинирования известных алгоритмов и приемов деятельности, эвристического мышления.
Четвёртый (высший) уровень: творческое применение полученных знаний путем самостоятельного конструирования способа деятельности, поиск новой информации (знания-трансформации).

Принципы восхождения
(по В.П.Беспалько)
Процесс обучения на каждом из уровней усвоения завершается лишь при достижении учащимися … 0.7.
При К меньше 0.7 учащийся не способен видеть и исправлять свои ошибки; совершенствование деятельности не происходит.
Невозможно перейти к следующему уровню, не освоив предыдущий.

МОДЕЛЬ ОЦЕНКИ
результатов обучения
ВЕКТОРНАЯ ОЦЕНКА:
А = (А1, А2, А3)
где Аi – процент выполнения заданий i-го блока
от максимального за i-ый блок (I = 1, …, 3)

МОДЕЛЬ ИЗМЕРИТЕЛЯ
Задания порогового (базового) блока проверяют, в основном, степень владения обучающимся материалом учебного предмета на уровне «знать». Данный блок содержит задания, в которых очевиден способ решения, усвоенный учеником при изучении предмета. Задания этого блока выявляют, в основном, знаниевый компонент по учебному предмету.
Задания среднего (повышенного) блока оценивают степень владения материалом учебного предмета на уровне «знать и уметь». Этот блок представлен заданиями, в которых нет явного указания на способ выполнения, и ученик для их решения самостоятельно выбирает один из изученных способов. Задания данного блока позволяют оценить не только знания обучающихся по учебному предмету, но и умения пользоваться ими при решении типовых задач.
Третий блок представлен case-заданиями (заданиями PISA), содержание которых предполагает применение комплекса умений, для того, чтобы ученик мог самостоятельно сконструировать способ решения, комбинируя известные ему способы и привлекая знания из различных учебных предметов (подготовка к PISA).

ЗАДАНИЕ 2
Изучите методические рекомендации по повышению объективности образовательных результатов, а также рекомендации
для системы общего образования по основным подходам
к формированию графика проведения оценочных процедур
в общеобразовательных организациях
в 2021/2022 учебном году.
Материалы можно найти но ссылкам:
https://docs.cntd.ru/document/557087324
http://docs.cntd.ru/document/561358162
https://obrnadzor.gov.ru/wp-content/uploads/2021/08/sk-228_03-ot-06.08.2021.pdf
(при возникновении проблем с подключением в сети Интернет, материалы размещены в Reader 2)
Представьте требования к контрольной работе (диагностической работе) и элементы внутришкольной системы оценки образовательных результатов в форме инфоргафики.

В структуре предметных результатов отражена логика организации отдельных предметов: планируемые результаты соотносятся с ведущими содержательными линиями и разделами изучаемых курсов.
Это позволяет учителю целенаправленно проектировать на этой основе постепенное продвижение учащихся в освоении планируемых результатов, соотнося его как с этапами формирования учебных действий и опорного учебного материала, так и с требованиями системы оценки (ООП 8.04.2015 г.)
Особенности проектирования заданий для оценки уровня сформированности предметных результатов
ФГБНУ
«Федераль-ный институт педагогических измерений»

Система внутришкольного мониторинга образовательных достижений (личностных, метапредметных и предметных):
- материалы стартовой диагностики
материалы, фиксирующие текущие и промежуточные учебные и личностные достижения,
- результаты портфолио
Внутришкольный мониторинг образовательных достижений ведётся каждым учителем-предметником и фиксируется с помощью оценочных листов, классных журналов, дневников учащихся на бумажных или электронных носителях!!!

Планируемые результаты освоения учебного предмета, курса;
Содержание учебного предмета, курса;
Тематическое планирование с указанием количества часов
Программы учебного предмета, курса должны содержать

Предметные результаты проверяются через оценку усвоения обучающимися системы опорных учебных знаний, умений и действий, выполняемых с предметным материалом.
Выявление этих опорных учебных элементов для последующего оценивания уровня их освоения представляет собой приоритетную задачу учителя.

Примерные рабочие программы
https://edsoo.ru/study-subject/

https://edsoo.ru/constructor/

Кодификатор элементов содержания и требований к уровню подготовки обучающихся -
- документ, определяющий структуру и содержание КИМа или ОМа
–
Спецификация КИМа или Ома -
- документ, определяющий структуру и содержание работы, включающий основные характеристики содержания КИМа или ОМа в целом, а также содержания и форм тестовых заданий;
- документ в котором содержится информация о целях, задачах, плане и структуре КИМа или ОМа, а также указаны основные требования к правилам и условиям проведения тестирования, обработки результатов тестирования и их интерпретации

КЭС - контролируемый элемент содержания
(опорный учебный материал)

КПУ – код проверяемых умений
(опорных учебных действий)

Проблема : формирование тематического планирования с учетом кодификатора.
Включение контролируемых элементов и проверяемых умений в КТП

ПРОЕКТИРОВАНИЕ КИМов или ОМов

https://tc.edsoo.ru/

https://fipi.ru/metodicheskaya-kopilka

Что будет проверяться?

Какие умения (действия) будут проверяться?

На основе тематического планирования, учитывающего КЭС, КПУ, осваиваемые учебные действия (умения) учитель призван проектировать контрольные (проверочные, диагностические) работы, т.е. контрольно-оценочные средства по предмету (включающие план контрольных работ).
Совокупность контрольно-оценочных средств образует фонд оценочных средств для проведения текущего контроля успеваемости, промежуточной аттестации обучающихся и итоговой аттестации по предметам, не выносимым на ГИА.
. Формирование фонда регламентирует локальный акт – Положение о фонде оценочных средств.

ЗАДАНИЕ 3
Составьте задания в тестовой форме, используемые для проверки изученного материала.
Задания составьте с учетом КЭС, КПУ.
(учебный предмет и тема на Ваш выбор)
Критерии отбора содержания заданий в тестовой форме представлены в Reader 3

Материал для самостоятельного изучения

КРИТЕРИЙ:
Менее 70% баллов за задания каждого из блоков 1, 2 и 3
УРОВЕНЬ 1
A1
A2
A3
Как определить, что обучающийся находится на ПЕРВОМ уровне усвоения знаний по учебному предмету?
70%
70%
70%

Уровень 1:
Обучающийся может:
- ответить на вопросы в знакомой ситуации, когда эти вопросы четко сформулированы и представлена вся необходимая информация;
- выполнить стандартные процедуры в соответствии с прямыми указаниями в четко определенной ситуации;
- выполнить действия, которые явно следуют из описания предложенной ситуации.
Рекомендации – необходимо не останавливаться на достигнутом и продолжать изучение предмета; рекомендуется активная работа с учителем, в том числе с образовательными платформами в сети Интернет – в режиме самообучение.

УРОВЕНЬ 2
Не менее 70% баллов за задания блока 1
и меньше 70% баллов за задания каждого из блоков 2 и 3
или
Не менее 70% баллов за задания блока 2
и меньше 70% баллов за задания каждого из блоков 1 и 3
или
Не менее 70% баллов за задания блока 3
и меньше 70% баллов за задания каждого из блоков 1 и 2
A1
A2
A3
A1
A2
A3
A1
A2
A3
КРИТЕРИЙ:
70%
100%
70%
100%
70%
100%
70%
100%
70%
100%
70%
100%
70%
100%
70%
100%
70%
100%

Уровень 2:
Обучающийся может:
- выполнять четко описанные математические процедуры, которые могут состоять из нескольких шагов, требующих принятия решения на каждом из них;
- находить и применять простые методы решения стандартно сформированных заданий;
- интерпретировать и использовать информацию, представленную в различных источниках, и рассуждать на этой основе;
- кратко описать свою интерпретацию, рассуждения и полученные результаты.
Рекомендации - необходимо не останавливаться на достигнутом и продолжать изучение предмета; рекомендуется активная работа с учителем, в том числе с образовательными платформами в сети Интернет – в режиме самообучение.

УРОВЕНЬ 3
Не менее 70% баллов за задания каждого из блоков 1 и 2
и меньше 70% баллов за задания блока 3
или
Не менее 70% баллов за задания каждого из блоков 1 и 3
и меньше 70% баллов за задания блока 2
или
Не менее 70% баллов за задания каждого из блоков 2 и 3
и меньше 70% баллов за задания блока 1
A1
A2
A3
A1
A2
A3
A1
A2
A3
КРИТЕРИЙ:

Уровень 3:
Обучающийся может:
понимать проблемную ситуацию, распознавать ограничения и устанавливать соответствующие допущения, строить математическую модель проблемной ситуации;
выбирать, сравнивать и оценивать соответствующие методы решения математической модели, которая отвечают проблемной ситуации;
работать целенаправленно, используя при рассмотрении предложенной ситуации хорошо развитое умение размышлять и рассуждать, используя соответствующие связанные между собой формы представления информации, характеристику содержания с помощью символов и формального математического языка, а также интуицию;
размышлять над выполненными действиями, формулировать и излагать свою интерпретацию и рассуждения.
Рекомендации – нужно активно участвовать в проектной, исследовательской деятельности, олимпиадах, …

КРИТЕРИЙ:
Не менее 70% за задания каждого из блоков 1, 2 и 3
УРОВЕНЬ 4
A1
A2
A3
Как определить, что Ученик находится на ЧЕТВЕРТОМ уровне усвоения знаний по учебному предмету?

Уровень 4:
Обучающийся может:
- обобщать и использовать информацию, полученную на основе исследования моделей сложных проблемных ситуаций;
- связывать и использовать информацию из разных источников, представленную в различной форме, и успешно оперировать с ней;
- применять интуицию и понимание наряду с владением математическими символами, операциями и зависимостями для разработки новых подходов и стратегий для разрешения проблем в новых для них условиях (обладают продвинутым математическим мышлением);
- формулировать и точно выражать свои действия и размышления относительно своих находок, интерпретации и аргументов, соотнося их с предложенной ситуацией.
Рекомендации – нужно готовить себя к научным исследованиям