Экспертные оценки

Экспертные оценки
Подходы, основанные на экспертных оценках, применяются при отсутствии дискретных эмпирических данных.
Используют опыт и знания экспертов-практиков в различных областях. Оценки, получаемые при этом, представляют собой синтез известных результатов прошлых проектов, в которых принимал участие эксперт.
Даже признанные эксперты иногда делают неверные догадки и предположения. На основе экспертных оценок были разработаны два метода, допускающие возможность ошибки экспертов:
метод Дельфи
метод декомпозиции работ.

Метод декомпозиции работ
Способ иерархической организации элементов проекта, упрощающий задачу составления бюджета проекта и контроля за расходованием средств.
Позволяет определить, на что именно расходуются средства.
Если с каждой категорией расходов, связанной с тем или иным элементом иерархии проекта, сопоставить некоторую вероятность, можно определить ожидаемую сумму расходов на разработку, начиная с некоторых структурных элементов проекта и заканчивая совокупными затратами на выполнение всего проекта.
Метод декомпозиции работ для ПО предполагает существование двух иерархий элементов проекта.
структура ПО
стадии разработки ПО

Какой вы оценщик?
Заполним анкету своими оценками (минимальное и максимальное значение)
Температура ядра Земли (в град C)
Объем крови, который сердце взрослого человека перекачивает за день (в литрах)
Площадь пустыни Сахары (в кв. км)
Год рождения Александра Македонского
Длина экватора
Глубина озера Байкал (в метрах)
Масса головного мозга человека в процентах от массы тела в %
Сколько весит баррель нефти
Население Австралии
Длина самолета Боинг-747

Какой вы оценщик?
За каждый правильный ответ ставим себе один бал

Метод Делфи
Метод Дельфи был разработан в корпорации «Рэнд» в конце 1940-х гг. и использовался первоначально для прогнозирования будущих событий (отсюда метод и получил свое название по сходству с предсказаниями Дельфийского оракула в Древней Греции). Позднее метод использовался для принятия решений по спорным вопросам.
На предварительном этапе участники дискуссии должны без обсуждения с другими ответить на ряд вопросов, относительно их мнения по спорному вопросу. Затем ответы обобщаются, табулируются и возвращаются каждому участнику дискуссии для проведения второго этапа, на котором участникам снова предстоит дать свою оценку спорного вопроса, но на этот раз, располагая мнениями других участников, полученными на первом этапе. Второй этап завершается сужением и выделением круга мнений, отражающих некоторую общую оценку проблемы.
Изначально в методе Дельфи коллективное обсуждение не использовалось; обсуждение между этапами метода было впервые применено в обобщенном методе Дельфи. Метод достаточно эффективен в том случае, если необходимо сделать заключение по некоторой проблеме, а доступная информация состоит больше из «мнений экспертов», чем из строго определенных эмпирических данных.

Методика Wideband Delphi
Wideband Delphi – предложенная Барри Боэмом в 1981 году практическая реализация проведения оценки по методу Делфи
Является методом для повышения качества оценок, полученных несколькими экспертами
Ориентирована на получение следующих оценок:
Структурная или функциональная декомпозиция работ
Трудозатраты
Размер проекта
Критические компьютерные ресурсы
Стоимость
Риски

Основные участники процесса оценки
Менеджер проекта – составляет список оцениваемых элементов
Модератор – управляет процессом оценки, обеспечивает правильное выполнение процедуры Wideband Delphi. Эта роль может выполняться менеджером проекта
Оценщики – изучают задачу и выполняют оценку

Применение Wideband Delphi
Порядок применения Wideband Delphi:
Подготовить список оцениваемых элементов
Провести совместную встречу команды оценки для проведения ревью списка оцениваемых элементов
Выполнить индивидуальные оценки
Собрать индивидуальные оценки от каждого из членов команды и создать суммарную таблицу оценок
Провести встречу по обсуждению оценок
Завершить заполнение суммарной таблицы оценок

Подготовка списка оцениваемых элементов
Выполняется менеджером проекта
Определяется, что надо оценить (трудозатраты, стоимость и т.д.)
Нельзя смешивать различные виды оценок
Выбирается единица измерения для проведения оценки
Создается список и описание оцениваемых элементов, а также собирается необходимая для оценки документация

Ревью оцениваемых элементов
Совместное совещание команды оценки организуется модератором
Это совещание должно занимать не более 30 минут
Шаги:
Рассказать про технику Wideband Delphi
Предоставить список оцениваемых элементов, а также форм для проведения оценки
Провести ревью списка, скорректировать его при необходимости
Если используется индивидуальная форма оценки, то она также может быть скорректирована

Выполнение индивидуальных оценок
Оценщики выполняют индивидуальные оценки
Они могут выполнять любые исследования, какие посчитают нужными
Оценщики не должны общаться между собой
Индивидуальная оценка должна занимать не более, чем 2 часа
Оценка выполняется по PERT: (Best Case + Worst Case + Most Probable*4)/6

Оценка PERT
Оценка по трем точкам:
О – оптимистическая
В – наиболее вероятная
П – пессимистическая
Ожидаемая по PERT (Program Evaluation and Review Technique):
Д = (О + 4 * В + П) / 6
Пример. Некоторая работа исполнялась 10 раз.
Статистика длительностей:
2 раза за 4 дня – оптимистическая
7 раз за 5 дней – наиболее вероятная
1 раз за 9 дней – пессимистическая
Средняя (арифм) = (4 * 2 + 5 * 7 + 9 * 1) / 10 = 5,2 дней
Ожидаемая (PERT) = (4 + 4 * 5 + 9) / 6 = 5,5 дней

Обсуждение оценок
Модератор организует совещание команды оценки:
Всем участникам предоставляется суммарная таблица оценок
Каждый оценщик изучает суммарную таблицу оценок
Проводится несколько совместных обсуждений оценки
Каждый оценщик выполняет еще одну индивидуальную оценку. Результаты этих оценок опять обобщаются в суммарной таблице оценок
Проводится новое совместное обсуждение оценок
Если оценки сошлись и между ними небольшая разница, то совещание завершается и итоговая оценка предоставляется менеджеру проекта
Если оценки не сошлись, то шаги 3-6 повторяются