Экспертное оценивание и теория измерений

Примеры процедур экспертного оценивания
КВН (средн. арифм.):
Э-I Э-II Э-III Э-IV
4 + 3 + 4 + 5 = 16
Оценка: 16/4 = 4
«Мозговой штурм»
- «Игра без правил» – от 100 идей
- Критический анализ – около 10 идей
- Реализуемый проект – 5-6 идей
-Реализация + эффект – 2-3 идеи
Метод Дэлфи
Э-I Э-II Э-III Э-IV
Оценка: Окончательное усредненное мнение
Метод сценариев
- n сценариев
- прогноз по
каждому
из них
- выбор
«Снежный ком»
Фигурное катание:
Э-I Э-II Э-III Э-IV
4,8 5,1 6,0 5,5
Оценка: (5,1+5,5)/2 = 5,3
ЭО

Стадии экспертного опроса
1) Принятие решения о проведении экспертного опроса
2) Подбор и назначение ЛПР основного состава Рабочей группы (РГ)
3) Разработка РГ и утверждение у ЛПР технического задания
4) Разработка аналитической группой РГ подробного сценария
5) Подбор экспертов
6) Формирование экспертной комиссии
7) Проведение сбора экспертной информации
8) Компьютерный анализ экспертной информации
9) При применении (согласно сценарию) экспертной процедуры из нескольких туров - повторение двух предыдущих этапов
10)Итоговый анализ экспертных мнений
11)Официальное окончание деятельности РГ

Проблемы при проведении ЭО
1) Подбор экспертов (Если экспертиза уникальна, экспертов еще нет. «Снежный ком». Опасность «одного клана»).
2) Оценка квалификации экспертов
(Самооценка или оценка со стороны?)
3) Регламент работы ЭК
Цель работы ЭК – информация или готовый проект решения.
Число туров
Организация общения экспертов (без общения - заочное анонимное - заочное без анонимности - очное с ограничениями - очное без ограничений)
Веса экспертов
Комбинирование различных видов экспертизы
4) Обработка результатов ЭО
(свертка качественных экспертных оценок)

Основы теории измерений
Шесть типов шкал:
Наименований (номинальная)
(метки для различения объектов; П – взаимооднозначные)
Порядковая
(ранжирование, упорядочивание ; П – строго возрастающие)
Интервалов «0» – нет, ед.изм. – нет.
(температура; Со=5/9 (Fо-32); П – сдвиг, масштаб)
Отношений «0» – есть, ед.изм. – нет.
(масса, скорость и т.п.; П – масштаб)
Разностей «0» – нет, ед.изм. – есть.
(время, единица – сутки, год; П – сдвиг)
Абсолютная «0» – есть, ед.изм. – есть.
(количество людей в комнате; П – тождественные)
Качест-венные
Количест-венные
Выводы, сделанные на основе данных, измеренных в шкале определенного типа, не
должны меняться при допустимом преобразовании (П) шкалы измерения этих данных.

Различные виды средних величин
(на примере)
Подсчет средней зарплаты
Среднее арифметическое: суммарн.доход/число работн.= 40000 / 100 = 400
Медиана: средн. арифм. зарплаты 50 и 51 сотрудников = ½ (200 + 200) = 200
(центральные элементы после упорядочивания всех значений)
Мода: значение, присущее максимальному числу элементов = 100

Различные методы обработки результатов экспертизы
(на примере оценки восьми проектов)
Ранжирование проектов на основе среднего арифметического:
Г < В < {Б, Е} < А < Ж < Д < З (А < Б означает – А лучше Б)

Ранжирование с помощью медианы (М)
(на примере оценки восьми проектов)
Ранжирование проектов на основе медианы:
Г < {Б, В} < Е < А < Ж < З < Д (А < Б означает – А лучше Б)