Экспертные оценки

Невозможно или нецелесообразно строить модели, которые бы полностью отражали природу и количественные взаимосвязи факторов
Информация не только на количественная, но и на качественная, здравый смысл и опыт людей

Методологические основы экспертных методов заключаются в:
получении от специалистов-экспертов недостающей информации (в виде количественных и качественных оценок),
обработке и использовании собранной информации для подготовки и принятия решений
Успех экспертизы в основном зависит от того, насколько полно выявлена при опросе экспертов информация, существенная в условиях данной задачи

описание проблемной ситуации, ее уточнению с помощью возможных альтернативных ситуаций
определение множества целей планирования и множества вариантов плана
организация проведения всех этапов экспертизы
применение количественных методов как при организации экспертизы, так и при обработке результатов
оформление полученных результатов
анализ результатов экспертного оценивания, составление отчета, представление итогов работы в удобном для пользователя виде

Обобщенный алгоритм экспертизы
1. Консультант находит множество допустимых оценок, в котором содержится искомая оценка
2. Консультант определяет множество допустимых оценок, из которого эксперты осуществляют выбор
3. Эксперты дают оценку альтернативам, взаимодействуя с другими экспертами по определенному регламенту
4. Вычисляется групповая оценка
5. Возврат к одному из предыдущих пунктов с предъявлением части полученной информации

Операции при качественной оценке группой экспертов
составить полный перечень фактов, признаков, подходов и других качественных показателей, которые могут быть существенными в условиях поставленной задачи
построить шкалы возможных значений качественных признаков
провести содержательную группировку качественных показателей
обнаружить и охарактеризовать взаимосвязи качественных оценок
выявить отношения качественных признаков, существенные для построения комплексной оценки или схемы принятия решения

В процессе непосредственного проведения опроса экспертов и обработки его результатов группа управления осуществляет выполнение комплекса работ в соответствии с разработанным планом, корректируя его по мере необходимости

Организация экспертной оценки
Руководящий документ – план, в котором формулируются цель работы и основные положения по ее выполнению
Назначается руководитель экспертизы, который в первую очередь формирует группу управления

Группа управления определяет структуру экспертизы и осуществляет отбор экспертной группы
описывается решаемая проблема
определяется раздел исследований и перечень специалистов, связанных с решением сформулированной задачи
определяется долевой состав экспертов по каждой области деятельности
определяется количество экспертов в группе
составляется предварительный список экспертов
анализируется квалификация экспертов
уточняется список экспертов

Группа управления проводит разработку организации и методики проведения опроса экспертов
место и время проведения опроса
предполагаемое количество и задачи туров опроса
форма и порядок проведения опроса
формы и содержание вопросов
порядок фиксации и сбора результатов опроса
формы оформления результатов опроса

Группа управления определяет методику обработки данных опроса
задачи и сроки обработки
процедуры и алгоритмы обработки
средства для проведения обработки

Наиболее распространенные методы измерений при экспертизе
ранжирование
непосредственная оценка
парное сравнение

Качественные экспертные оценки и их особенности
оценки, проводимые по заранее составленным шкалам (оценка качественных признаков)
оценки, шкалы для которых заранее не могут быть составлены (используются при проведении операций генерации) - выражаются в предложениях, гипотезах, перечнях тех или иных показателей, фактов

Основные типы шкал
отношений
интервалов
порядка
наименований или номинальная шкала

Надежность получаемой от эксперта информации
Использование традиционных, хорошо знакомых и привычных для экспертов способов получения информации существенно повышает ее надежность

Процедура отбора специалистов в группы экспертов
определение количества экспертов
составление списка экспертов
получение согласия экспертов на участие в работе

Основные характеристики экспертов
Компетентность
Креативность
Отношение к экспертизе
Конформизм
Аналитичность и широта мышления
Коллективизм
Самокритичность
Достоверность

Методы опроса экспертов
Анкетный опрос
Интервью
Дискуссия
Сценарные методы
Мозговой штурм
Морфологический анализ

Анкетный опрос
заключается в подготовке и предъявлении экспертам опросных карт-анкет, на вопросы которых они должны дать ответы в письменной форме

Этапы разработки анкеты
род требуемой информации
вид анкеты и метода проведения опроса
содержание и состав отдельных вопросов анкеты
форма ответа на каждый вопрос
формулировка каждого вопроса
предварительное тестирование анкеты

Формы вопросов
Открытые
Закрытые (2-3 варианта ответа)
С вариантами ответов (меню + свои варианты ответов)
Прямые
Косвенные

Вопросы должны быть сформулированы таким образом, чтобы избежать неоднозначного толкования.
Сложные вопросы должны быть разбиты на простые
Не должно содержаться нескольких условий. Ответ должен быть однозначным.

Метод Дельфи
Полный отказ от личных контактов экспертов и коллективных обсуждений
Многотуровая процедура опроса экспертов
Обеспечение экспертов информацией, включая и обмен информацией между ними, после каждого тура опроса при сохранении анонимности оценок, аргументации и критики
Обоснование ответов экспертов по запросу организаторов

Организационная группа рассылает каждому эксперту тему вопроса, и предлагают разработать план его исследования. Таким образом получается множество вопросников, составленных разными экспертами
Организационная группа выбирает наиболее часто встречающиеся пункты и составляет из них список.
Далее список рассылается экспертам, которые должны оценить представленный план, и высказать своё мнение по поводу его полноты и оптимальности.
По полученным результатам экспертная группа составляет второй, улучшенный опросник.
Далее все эксперты проводят анализ проблемы по предложенному плану, в результате чего делают собственные выводы
Организационная группа сводит все результаты воедино, выбирает максимально отличающиеся от большинства и наиболее часто встречающиеся точки зрения, и рассылают результаты экспертам.
Эти действия повторяются до тех пор, пока эксперты не придут к единому мнению.
Далее оформляются результаты, делаются окончательные выводы и рекомендации

Предварительный этап:
1. Подбор группы экспертов – чем больше, тем дольше — до 20.
Основной:
1. Постановка проблемы – экспертам рассылается вопрос и предлагается его разбить на под вопросы. Организационная группа отбирает наиболее часто встречающиеся. Появляется общий опросник.
2. Этот опросник рассылается экспертам. Их спрашивают — можно ли добавить ещё что-то; достаточно ли информации; есть ли дополнительная информация по вопросу? В итоге получают 20 вариантов ответов с дополнительными аспектами и информацией. На основе этого составляется следующий опросник.
3. Улучшенный опросник вновь рассылается экспертам, которым теперь надо дать свой вариант решения, а также рассмотреть наиболее крайние точки зрения, высказанные другими экспертами. Эксперты должны оценить проблему по аспектам: эффективность, обеспеченность ресурсами, в какой степени соответствует изначальной постановке задачи. Таким образом, выявляются преобладающие суждения экспертов, сближаются их точки зрения. Всех экспертов знакомят с доводами тех, чьи суждения сильно выбиваются из общего русла. После этого все эксперты могут менять мнение, а процедура повторяется.
4. Итерации повторяются, пока не будет достигнута согласованность между экспертами, или не будет установлено отсутствие единого мнения по проблеме. Изучение причин расхождений в оценках экспертов позволяет выявить незамеченные ранее аспекты проблемы и зафиксировать внимание на вероятных последствиях развития анализируемой проблемы или ситуации. В соответствии с этим и вырабатывается окончательная оценка и практические рекомендации. Обычно проводится три этапа, но если мнения сильно разнятся - то больше.
Аналитический:
1. Проверка согласованности мнений экспертов, анализ полученных выводов и разработка конечных рекомендаций

Критика — с 60-х
беззащитность эксперта перед организационной группой — слишком большие полномочия.
мнение большинства — не обязательно правильное; креативное решение — меньшинства, наиболее эффективные решения — отбрасываются.
анализ — много времени. Минимум на каждый этап — сутки. Не подходит для оперативного анализа.
возрастает конформизм экспертов, стремление попасть в большинство.
возможность манипуляции экспертами организационной группой.
Противодействия:
подбор организационной группы из различных структур, научных и социальных школ.
ту же проблему прогнать через другую группу
самые оригинальные решения можно включать в качестве дополнений
Этот метод не оперативного, а стратегического планирования.

Интервью
Интервью является беседой, в ходе которой организатор экспертизы ставит вопросы эксперту по заранее в той или иной степени разработанной программе
эксперт не имеет времени для глубокого продумывания своих ответов
Достоинством является непрерывный, живой контакт эксперта и консультанта, что позволяет быстро получить большое количество информации об исследуемой проблеме
Необходимо умение четко задавать вопросы.
Недостаток: взаимное влияние, трудность формализации информации

Дискуссия
целесообразно проводить на первом этапе изучения проблемы для выявления возможных путей ее решения
определение и формулирование предмета дискуссии и порядка ее проведения
подготовка участников к дискуссии и ее материально-техническое обеспечение
собственно дискуссия
подведение итогов, фиксация и обработка результатов дискуссии

Сценарные методы
Методы опроса экспертов, связанные с составлением документов типа докладных записок и сценариев
Установление логической последовательности событий, чтобы было видно, как происходит переход системы из предыдущего состояния в последующее
отбор только относящейся к делу информации

Сценарий - это попытка подробно описать последовательность событий, с определенной вероятностью ведущих к конечному состоянию, или учесть возможные последствия производимого выбора. Сценарии представляют собой качественные описания, хотя и достаточно детализированные. Их основное достоинство - они позволяют объединить анализ множества факторов.
Структура сценария состоит из содержательной и количественной частей. Они напоминают литературные сценарии с прологом (история развития объекта), основной частью (ситуация, требующая разработки решения, цель решения, конфликт между участниками) и прологом (решения и возможные последствия).
Метод сценариев - это инструмент, позволяющий получать информацию для принятия ключевых решений по стратегии развития организации в соответствующей перспективе. Он относится к комплексным методам разработки альтернатив управленческого решения.

На пред сценарном этапе должна быть проведена вся подготовительная работа и получены следующие результаты:
- сформулированы цели, задачи и условия прогноза;
- собрана информация и составлено содержательное описание объекта прогнозирования, сформулирована рабочая гипотеза о механизме его функционирования и развития;
- произведена декомпозиция системы (объекта);
- разработана формальная схема функционирования;
- сформулированы основные ограничения процессов функционирования и развития системы и определены индикаторы состояния системы;
- выбраны средние значения фоновых переменных, сценарных параметров и альтернатив управления и построены базовые сценарии для системы в целом и ее элементов.

Сценарный этап обычно начинается с проведения расчетов по всем базовым сценариям.
Цель расчетов - проверка содержательных базовых сценариев на допустимость и реализуемость, уточнение исходных значений фоновых переменных и сценарных параметров, количественно- качественный анализ сценариев.
Процесс построения сценариев - это выдвижение различных альтернатив развития рассматриваемой системы и последующая проверка каждой из них.
Последовательное сравнение альтернатив обычно позволяет экспериментально определить основные тенденции развития и близкие к оптимальным траектории значений управляющих параметров.
Разрабатываются 2-3 сценария.

Метод докладной записки
Эксперт в свободной форме описывает проблему
Хорошо поручить группами с различными мнениями
Заочный метод представления аналитической экспертной оценки. Представляет собой глубокий анализ возможных путей развития рассматриваемого процесса (явления, объекта). Эксперт может воспользоваться вспомогательными материалами, тщательно, в течение длительного времени обдумывать свой ответ.

Мозговой штурм
Основан на гипотезе, что среди большого числа идей имеются по крайней мере несколько полезных для решения проблемы, которые нужно выявить
Методы коллективной генерации идей, конференций идей, обмена мнениями
Различают прямую мозговую атаку, метод обмена мнениями, методы типа комиссий, судов (две группы)
Можно проводить в виде деловой игры

Задачи, решаемые в методе мозгового штурма
генерирование новых идей
анализ и оценка предложенных идей
группа генераторов идей и группа аналитиков

Особенности проведения мозгового штурма
любые критические высказывания или оценки ценности высказанной мысли, идеи недопустимы
важно количество и разнообразие высказанных идей, т. к. вероятность появления действительно ценной идеи пропорциональна общему числу высказанных идей
мысли, идеи должны подхватываться, развиваться, комбинироваться

Морфологический анализ
заключается в построении многомерных морфологических схем, в которых перечислены основные показатели данной совокупности объектов

Основные этапы реализации метода морфологического анализа
Точная формулировка решаемой задачи (описание желаемых функциональных свойств исследуемой системы)
Выявление максимально полного перечня основных функций системы
Определение различных альтернативных способов реализации каждой из выявленных ранее функций и генерирование всех возможных вариантов рассматриваемой системы, каждый из которых состоит из цепочки, содержащей ровно по одному способу реализации каждой отдельной функции (например, один из вариантов рассматриваемой системы)
Определение эффективности вариантов системы
Выбор и реализация наиболее предпочтительного варианта

Принцип «хорошего измерителя»
Эксперт является хранилищем большого объема рационально обработанной информации (знания, опыт, интуиция), и поэтому он может рассматриваться как качественный источник информации
Групповое мнение экспертов близко к истинному решению проблемы

Методы обработки экспертной информации
построение обобщенной оценки альтернатив на основе индивидуальных оценок экспертов
построение обобщенной оценки на основе парного сравнения альтернатив каждым экспертом
определение относительных весов альтернатив
определение согласованности мнений экспертов
определение зависимостей между ранжировками
оценка надежности результатов обработки

Оценка согласованности мнений экспертов
зависимость между ранжировками двух и более экспертов
Ранговая корреляция Спирмена