Установление профилей качества: опыт ALTE Крис Скотт-Баррет

Содержание
Введение
Кратко – цели ALTE
Проблема качества: набор инструментов ALTE
a) Профессиональный кодекс ALTE (1994)
b) Принципы качественной работы
c) Система управления качеством– контрольные листы
d) Минимальные стандарты
Аудит профиля качества

1. Введение
Цели ALTE – c 1990
Установить общие уровни владения языком для содействия транснациональному признанию сертификатов в Европе
Установить общие стандарты для всех этапов процесса языкового тестирования
Осуществлять совместные проекты для обмена опытом и know-how
Девиз: “Достигая стандартов: сохранять разнообразие ”

Вопросы качества: инструменты ALTE
Профессиональный кодекс ALTE
Принципы качественной работы
Система управления качеством– контрольные листы
Минимальные стандарты

Дать возможность экзаменаторам делать формальное авторизованное заявление о том, что у определенного теста имеется профиль качества соответствующий целям его применения
например, подтверждение валидности
Профиль качества экзамена устанавливается:
В соответствии с Принципами качественной работы
С использованием контрольных листов Управления качеством.
Процесс аудита

a) Профессиональный кодекс ALTE
ALTE COP & QMS
Этический рамки
Принципы
Система
Управления качеством
Стандарты
Профессиональный кодекс ALTE, 1994
принципы качественной работы ALTE, 1993; 2001
контрольные листы ALTE COP & QM, 2001
Система аудита ALTE, 2003

…. Общие стандарты для всех этапов подготовки и проведения тестирования
1994 - ALTE публикует свой первый профессиональный кодекс
Внимание на oроли и обязанностях всех заинтересованных лиц в стремлении к справедливости
a) Профессиональный кодекс ALTE

Стремление к справедливости для заинтересованных лиц
Профессиональных кодекс определяет роли трех ree групп заинтересованных лиц :
Разработчиков экзамена- например, членов ALTE
экзаменуемых – первичных потребителей, сдающих экзамен по собственному выбору, направлению или по необходимости
пользователей – вторичных потребителей (например учителей) которым нужны результаты экзамена для принятия определенных решений
a) Профессиональный кодекс ALTE

Профессиональных кодекс обозначет четыре широких зоны ответственности:
Разработка экзаменов
Интепретация результатов экзамена
Стремление к справедливости
Информирование экзаменуемых
Стремление к справедливости общая ответственность всех заинтересованных сторон
a) Профессиональный кодекс ALTE

В принципах качественной работы детализированы принципы, которые должны приниматься членами ALTE для достижения высоких профессиональных стандартов
Важно, чтобы и другие заинтересованные стороны имели представление об этих принципах (значение оценочной грамотности)
b) Принципы качественной работы

“Внедрение принципов на практике”
ПК как набор контрольных листов для самооценки
Основан на подходе, принятом в международных системах качества – таких как ISO 9001:2000
Инкорпорирует принцип УК “удовлетворение клиента/заказчика ”
Внимание постоянному совершенствованию
c) Система управления качеством

Система управления качеством
Цель системы УК :
Повышать качество для повышения степени удовлетворения клиента
В тестировании, отчитываться о валидности экзамена для достижения справедливости в отношении клиентов
В языковом тестировании, кто является клиентами?

ср. Профессиональный кодекс
Первичные пользователи
= экзаменуемые
Вторичные пользователи
= те, кто использует результаты экзамена
Достижение справедливости = общая ответственность
c) Система управления качеством

Контрольные листы УК основаны на 4 аспекта цикла разработки и проведения тестирования:
1. Конструирование теста
2. Проведение тестирования
3. Обработка (оценка, объявление результатов)
4. Анализ
Основано на модели разработки тестов, представленной в Принципах качественной работы
c) Система управления качеством

d) Стандарты и профиль качества
Согласованы минимальные стандарты для установления профиля качества экзамена или набора экзаменов
Члены ALTE теперь обязаны каким образом их экзамены соответствуют этим стандартам
Требуется доказательство представляемых утверждений
Утверждения и доказательства проверяются в процессе аудита

d) Стандарты и профиль качества
17 минимальных стандартов основаны на контрольных листах УК
Они охватывают:
Конструирование теста
Администрирование и логистику
Оценивание
Анализ теста
Взаимосвязь с заинтересованными сторонами
на 26 языках

Минимальные стандарты
Разработка теста – 5 минимальных параметров
Экзамен базируется на теоретическом конструкте, например, модели коммуникативной компетентности.
Вы можете описать цель и контекст проведения экзамена, а также группу, на которую он рассчитан.
Вы предъявляете критерия для отбора и подготовки разработчиков теста и имеется экспертные свидетельства как по этапу разработки, так и этапам анализа и доработки экзамена.
Параллельные экзамены сравнимы в терминах содержания, стабильности, последовательности и границ оценок.
Если делается заявление о соотнесении с некой внешней системой (например с общеевропейскими уровнями владения языком), вы можете предъявить свидетельство о том, каким образом оно было произведено.

d) Стандарты и профиль качества
Но – разные экзамены ALTE требуют разных профилей качествап, для принятия во внимание следующего:
Контекст и цель применения
Целевая группа – размер, демография, распределение
Значимость и признание
Распределение центров проведения
Тип организационной структуры

Профиль качества
Профиль качества предоставляет подход к построению доказательства валидности экзамена или набора окзаменов
Объяснение
Обоснование
Доказательство
Соответствие цели

Профиль качества
Члены ALTE формулируют доказательство достаточности и приемлемости профиля качества определенного теста или набора тестов
Нет намерения навязать единый набор профилей качества
Аудит носит функции контроля качества и консультирования
Он должен установить, что минимальные стандарты достигнуты в соответствии с контекстом проведения тестирования и предложить рекомендации по совершенствованию
Всегда есть место совершенствованию
ВС = “возможности совершенствования”

3. Итоги процесса аудита
План действий
ВС