Разработкатестов знаний

Формирование критериев оценки
Фокус-группа для определения областей знаний, которые подлежат проверке:
Специалисты направления
Руководители направления
Представители HR
Заключительная оценка списка критериев по двум параметрам:
Значимость
Оригинальность
Пример – критерии (шкалы теста) для оценки знаний в области бухгалтерии:

Выбор технического решения
Бланковая технология
Компьютерная тестовая оболочка (локальное тестирование)
Телеверсия тестов
On-line версия тестов
Хостирование on-line системы тестирования на сайте организации

1. Создание банка заданий
Критерии для отбора авторов заданий из числа сотрудников:
Отличная осведомленность в данной области знаний
Опыт работы – от 1 года
Аналитические и вербальные способности
Достаточное количество времени

1. Создание банка заданий
Правила создания тестовых заданий для теста знаний:
Задания должны быть валидными
Дистракторы должны быть равновероятными
Количество ответов в задании должно быть от 4 до 6
Валидно ли задание: «Сколько орфографических ошибок в предложении:
«Я помню чюдное мгновенье…»,
если учесть, что задание работает на шкалу «Вычисления»?

1. Создание банка заданий
Авторы согласно инструкции создают избыточный банк тестовых заданий.
Пример формата задания, предоставляемого автором:

1. Создание банка заданий

2. Экспертиза
Проводится перекрестная экспертная оценка тестовых заданий. В ней могут принимать участие как авторы, как и вновь приглашенные эксперты.
Признаки НЕкачественного задания:
Задание не относится к заявленной тематике теста
Задание содержит несколько ответов, которые могут считаться правильными
Задание не имеет ни одного правильного ответа
Задание имеет неточности в формулировке самого вопроса или вариантов ответа

2. Экспертиза
Пример интерфейса редактора сервиса «Шкалирование»:

2. Экспертиза
Пример интерфейса для экспертов (сервис «Шкалирование»):

3. Пилотажное исследование
Разрабатывается первоначальная версия теста. Проводится пробное тестирование, в ходе которого HR-Лаборатория получают статистические данные об уровне трудности каждого задания.
При проверке удаляются слишком трудные (менее 25% верно ответивших) и слишком легкие задания (более 90% верно ответивших), не имеющие диагностической ценности.
Пример распределения долей ответов и расчет уровня трудности заданий с пятью вариантами ответа:

3. Пилотажное исследование
Коэффициент дискриминативности – коэффициент, отражающий различающую способность тестового задания: способность различать испытуемых по уровню знаний. Определяется как связь между выполнением испытуемыми данного тестового задания и общим баллом по всему тесту.
Коэффициент оптимальной трудности – коэффициент, отражающий процент испытуемых, давших правильных ответ на данное тестовое задание: чем меньше испытуемых справились с заданием, тем выше уровень его трудности. Слишком легкие и слишком трудные пункты автоматически оказываются малоинформативными.

3. Пилотажное исследование
Примеры обработки диагностической способности вопросов в сервисе «Авторские тесты»:

4. Формирование тестовой методики
После проверки пилотажного исследования формируется итоговая версия методики. В ней собраны тестовые задания, обладающие высокой диагностической способностью по результатам пилотажного исследования.
Пример результатов по тесту знаний в сфере подбора персонала в системе Maintest

HR-Лаборатория предлагает различные варианты технического
обеспечения тестирования для любого масштаба проведения
оценки или аттестации сотрудников.
Использование теста в работе
Варианты установки программы тестирования:
Локальная версия на один компьютер.
Сетевая версия с указанием рабочих мест.
On-line версия без указания рабочих мест с возможностью межрегионального и международного доступа к тестированию.