Разработка сервиса для поддержки принятия решения при оценке производственных прототипов

Предметная область
Прототип — быстрая «черновая» реализация базовой функциональности будущего продукта/изделия, для анализа работы системы в целом.
Proof-of-Principle Прототип служит для проверки некоторых ключевых
функциональных аспектов предполагаемого дизайна,
но обычно не обладает всеми функциональными возможностями конечного продукта.
Эксперт - лицо, обладающие знаниями и способные высказать аргументированное мнение по изучаемому явлению.
Экспе́ртное оце́нивание — процесс получения оценки чего-либо, на основе мнения
экспертов, с целью последующего принятия решения или выбора.

Актуальность

Актуальность
Высокие денежные и временные затраты на производство нового продукта
Относительно небольшая стоимость производства прототипа и его оценивания
Необходимость максимально точного оценивания успешности будущего продукта
Наличие, на практике, нескольких прототипов, с необходимостью выбора оптимального.

Цель и задачи работы
Цель работы:
Разработка сервиса для поддержки принятия решения при оценке производственных прототипов на основе экспертного оценивания.
Задачи:
Определение подхода к опросу экспертов
Разработка алгоритма, ранжирующего прототипы, основанного на экспертном оценивании
Программная реализация алгоритма.

Описание процесса оценки и выбора прототипа для производства

Алгоритм получения ранжировки

Определение подхода к опросу экспертов
От выбора подхода зависит качество ответов экспертов, а так же способ их обработки.
Необходимо определить:
Тип ответа эксперта
Метод опроса экспертов

Тип ответа эксперта
Идейный
Ранжирующий
Оценивающий объект в относительной или абсолютной шкале

Методы опроса экспертов
Метод ассоциаций
Метод парных сравнений
Метод векторов предпочтений

Результат опроса экспертов
Значение элемента, стоящего на пересечении
i-й строки и j-го столбца вычисляется по формуле:
Здесь отношение p означает, что объект i менее предпочтительней чем объект j,
а f означает, что объект i более предпочтителен чем объект j

Результат опроса экспертов

Оценка согласованности мнений экспертов
Дисперсионный коэффициент конкордации (коэффициент согласия)
D – дисперсия, характеризующая
реальный разброс
между ранжировками;
Dmax – дисперсия,
характеризующая максимально
возможный разброс.
m – количество экспертов, n – количество объектов, pij – ранг, данный j-м экспертом i-му объекту;

Оценка согласованности мнений экспертов
Для ранжировки с связными рангами коэффициент конкордации
вычисляется по формуле:
Где Тj - показатель связанных рангов в j-ранжировке; Нj – число групп
равных рангов в j-й ранжировке; hk – число равных рангов в k-й группе
связанных рангов при ранжировке j – м экспертом, m – количество экспертов, n – количество объектов, pij – ранг, данный j-м экспертом i-му объекту;

Проверка значимости коэффициента конкордации
Значимость оценки коэффициента конкордации проверяется с помощью
критерия χ2.
В случае выполнения данного условия, можно считать, что коэффициент W значимо отличается от 0.

Проверка значимости коэффициента конкордации
Коэффициент конкордации в случае отсутствия связанных рангов
Коэффициент конкордации в случае наличия связанных рангов

Алгоритм определения обобщенной ранжировки (матрица Кемени)
1. Строится матрица потерь и вычисляются суммы элементов ее строк.
Строки и столбцы матрицы потерь соответсвуют ранжируемым объектам. Элемент такой матрицы определяется по формуле:
Для случая i отличного от j:
В случае, если i=j:

Алгоритм определения обобщенной ранжировки (матрица Кемени)
2. На первое место группового ранжирования устанавливается объект, которому соответствует строка матрицы с наименьшей суммой.
3. Затем эта строка и столбец матрицы отбрасываются и подсчитываются суммы элементов строк урезанной матрицы.
4. Объект, соответствующий строке урезанной матрицы с наименьшей суммой, ставится на второе место в групповом ранжировании и т.д.
5. Полученное групповое ранжирование должно удовлетворять следующему условию транзитивности
Где - номера соседних в групповом ранжировании объектов. При невыполнении этого условия для какой-либо пары соседних объектов группового ранжирования необходимо поменять местами эти объекты.

Программная реализация
На вход программы подаются матрицы парных сравнений.
На основе матриц парных сравнений программа дает возможность:
Оценить согласованность мнений экспертов
Получить итоговую групповую ранжировку

Программная реализация

Вывод
В рамках данной работы был описан процесс принятия решений по запуску
прототипов в производство, а так же был разработан сервис, поддерживающий
принятие решений на основе экспертного оценивания.
Для сервиса был описан алгоритм работы для бизнес-аналитика и реализовано
программное средство автоматизирующее анализ экспертных мнений.