Методы экспертного оценивания

Group choice problem
Теория:
...мы просто выполним ранжирование объектов по их предпочтительности. Пусть F(a) - интенсивность предпочтительности объекта a. Тогда для объектов a,b,c получим: F(a)=0.3 F(b)=0.2 F(c)=0.1. Положим что наши оценки устойчивы. Тогда достаточно найти их среднее.
Практика:
...2 члена экспертной комиссии вчера плохо спали, поэтому они поставили всем по 0…
В реальных ситуациях группового выбора итоговое решение зависит от огромного числа трудноуловимых факторов...

Некоторые сложности
Члены жюри могут придерживаться противоположных точек зрения в своих оценках:
f1(a)=5, f1(b)=3, f1(c)=0
f2(a)=0, f2(b)=3, f2(c)=5
=> b - наилучший средний результат
На практике прибегают к различным процедурам обмена мнениями.
Удается придти к какому-либо единому мнению
Решимость экспертов остаться при своем мнении возрастает, тогда побеждают интересы руководства.
Проблема соизмерения предпочтений различных экспертов
Проблема решается нормализацией оценок в заданном диапазоне (0...1)
где F(_ сверху) == max, F(_ снизу) == min

Экспертиза
проведение группой экспертов измерения некоторых характеристик для подготовки принятия решения.
Оценка имеющихся объектов (оценка качества товара)
Построение объектов (сценарии развития магазина)
Построение объектов и их оценка (разработка системы признаков для оценки каждого из сценариев развития и оценка весомости каждого из признаков)
После проведения экспертизы идет ее анализ. Уделяется внимание тем кто дал крайние оценки. Затем на основе оценок экспертов принимается решение. Если решение невозможно принять - экспертиза повторяется.
Экспертиза анализируется 2 подходами
Анализ оценок экспертов
Анализ компетентности экспертов

Анализ оценок экспертов
Самый простой способ - найти среднее
- среднее
- среднее с учетом компетентности эксперта (q)
- иногда сложный показатель разбивают

2.1 ищем Q по взаимооценкам
- матрица выигрышей 5 команд (0 проигрыш, 1 ничья, 2 выигрыш)

2.1 ищем Q по взаимооценкам

2.2 на основе оценок объектов
(номера столбцов соответствуют номерам экспертов, строк - объектов).
,

2.2 на основе оценок объектов
- нормированный
,
или
Поскольку вид итерационного процесса соответствует рассмотренному в предыдущем пункте, условия его сходимости те же

Обработка результатов парных сравнений
Оценки типа 4 должны удовлетворять определенным соотношениям. Будем считать, что (*). Очевидно, в частности,
=>
=>
Оценка , данная - м экспертом степени предпочтительности - го объекта по сравнению с - м, может выражать:
Просто факт предпочтительности по сравнению с .
Балльную оценку этой предпочтительности.
Долю суммарной интенсивности предпочтения этих двух объектов, приходящуюся на объект , так что: .
Во сколько раз объект предпочтительнее объекта .
1 - 3 типы можно свести к 4-му.