Методы структурированной оценки: SWOT анализ, концептуальная карта, цветовое голосование

Содержание
SWOT – анализ
Метод концептуальных карт
Цветовое голосование

SWOT-анализ:
опыт и перспективы применения при оценивании политик и программ
Определение SWOT-анализа
История метода
Области применения
Структура SWOT
SWOT-матрица
Основные этапы SWOT-анализа (на примере оценивания региональной политики)
Применение на различных уровнях оценивания
Опыт Швеции
Преимущества и недостатки метода

Определение SWOT-анализа
SWOT – Strengths, Weakness, Opportunities, Threats
SWOT - метод структурирования и оценивания информации на предварительной стадии разработки программы, позволяющий выделить ее основные сильные и слабые стороны, а также возможные «побочные эффекты»

История метода
1960 гг. – описание метода (Лернд, Эндрю, Кристиансен, Гат) и обоснование его применения для стратегического планирования
1980-е гг. - активное использование администрациями штатов и городов при реализации политик развития а также управленцами государственного сектора

Области применения SWOT
Оценка региональной политики (наиболее распространено)
Оценка социальной политики
Оценка эффективности бюрократических структур и управленческих решений в рамках государственного сектора
Оценка отраслевых политик

Структура SWOT
Ситуационный анализ (анализ контекста)
/ \
Анализ внутренних факторов Анализ внешних факторов
/ \ / \
Сильные стороны Слабые стороны Возможности Угрозы
Создание SWOT-матрицы (профиля)

SWOT – матрица

Основные этапы
SWOT-анализа
(на примере оценки региональной политики)
«Сканирование» контекста программы
Подготовка и инвентаризация возможных действий
Внешний анализ возможностей и угроз
Внутренний анализ сильных и слабых сторон
Классификация возможных действий
Оценивание разработанной policy-стратегии

Этап 1: «Сканирование» контекста
Поиск и установка основных проблемных трендов, которые могут повлиять на развитие конкретного региона
Анализ политических, социально-демографических, экономических и физико-географических индикаторов

Этап 2: Подготовка и инвентаризация возможных действий
Формулировка возможных действий в общих концептуально-однородных понятиях
Установление ограничений

Этап 3: Внешний анализ возможностей и угроз
Перечисление тех параметров «окружения» региона, которые не доступны для контроля региональной власти, но могут существенно повлиять на реализацию политики

Этап 4: Внутренний анализ сильных и слабых сторон
Перечисление и анализ факторов, которые хотя-бы частично подконтрольны региональной администрации и могут ускорить/затормозить развитие региона в интересующей области

Этап 5: Классификация возможных действий
Выделение тех действий, который в соответствии с результатами этапа 4 могут по максимуму использовать сильные стороны программы и региона и нивелировать слабые

Этап 6: Оценивание разработанной policy-стратегии (опционально)
Основывается на сравнительном анализе релевантных опытов тех программ, которые уже были реализованы

Применение SWOT на трех уровнях оценивания
Ex-ante evaluation – оценивание, проводимое на стадии формулирования политики
On-going/midterm evaluation – промежуточное оценивание
Ex-post evaluation – финальное оценивание

Уровень ex-ante
анализ предшествующих опытов – «извлечение уроков»
совокупное рассмотрение необходимого и недостаточного – ресурсов, концептуальных элементов, и т.д.
рассмотрение возможностей и перспектив

Цели ex-ante применения SWOT
Агрегированный анализ сильных и слабых сторон, угроз и альтернативных возможностей
Анализ непредвиденных результатов (влияниях) реализуемой политики на элементы ее контекста
Предварительная корректировка программы

Уровень mid-term/on-going
Установление систем мониторинга промежуточных результатов реализации политики
Возможная корректировка задач, стратегий и методов оценки
Промежуточная оценка эффективности и соответствия достигнутого поставленным целям

Цели mid-term применения SWOT
Определение валидности SWOT-матрицы и адекватности ее элементов текущей ситуации

Уровень ex-post
Оценка и мониторинг реализации политики
Изучение незапланированных результатов
Сопоставление результатов двух предыдущих уровней оценивания
Подведение итога и структурирование референтного опыта

Цели ex-post применения SWOT
Анализ удач и неудач
«Что могло быть сделано, но не сделано»
Оценка долгосрочности результатов и учет возможных флуктуаций

Опыт Швеции
SWOT-анализ использован при разработке плана регионального развития «Объекта 6»
Акцент сделан на факторы окружения, структурных и демографических характеристиках региона
В соответствии с результатами стратегия скорректирована

Опыт Швеции (продолжение)

Преимущества и недостатки метода
Преимущества
Направлен на поиск наиболее эффективной стратегии
Возможность учета мнений партнеров
Особенно эффективен при последовательном использовании на уровнях ex-ante и mid-term
Недостатки
«Возраст» метода и его трансдисциплинарная специфика
Возможная субъективность при построении классификаций
Ограниченность качественного метода

Метод концептуальных карт
Определение
История метода
Применение техники
Описание метода
Участники процесса составления карты
Основные этапы составления карт
Преимущества и недостатки инструмента

Определение концептуальной карты
Концептуальная карта – графическое представление экспертного заключения, отражающего основные идеи, выработанные группой в ходе обсуждения проблемы, а также показывающего связи одних положений с другими, их важность и релевантность.

Определение метода концептуальных карт
вид структурной концептуализации, используемый группами для разработки концептуального фона, иллюстрации проведения оценки либо планирования какой-либо программы/политики;
двумерное представление набора понятий, описывающих объекты или явления, и функциональных взаимосвязей между ними;
древовидная структура, целиком посвящённая какой-либо теме; отдельные узлы на ней являют собой более мелкие составляющие общего знания, важные для понимания значения общей темы, связи объясняют, каким образом узлы взаимодействуют между собой.

История метода
William Trochim (1989)– разработка метода, введение понятия структурной концептуализации, показана возможность использования процессов на практике

Применение техники
Метод концептуальных карт используется для:
формулировка ключевых вопросов и фокусов программы;
разработки дизайна и плана проведения оценивания;
выявление нерелевантных для программы или политики аспектов оценки, которые необходимо опустить в процессе исследования;
определения эффектов воздействия программы/политики, которые необходимо оценить;
определения основных целей и задач оценивания

Описание техники
Основа – взаимодействие нескольких человек;
Агрегирование индивидуальных точек зрения по определенному вопросу;
Использовании различных источников информации: документации, исторических записях, более ранних оценках и исследованиях, интервью и т.п.

Участники процесса составления карт
Группа (10-20 человек) состоит обычно из:
Администраторов различных звеньев
персонал программы,
клиенты,
Представители академического сообщества,
члены сообществ
Представителей организаций,
Лидеров компаний,
ЛПР,
Оценщиков,
Спонсоров и т.п.
Роль модератора (внешний эксперт или участник программы) – управление процедурой –
Роль участников – определение содержания, интерпретация и применение карты.

Основные этапы составления концептуальных карт
Подготовка – отбор участников и выбор фокусов анализа
Выработка утверждений
Структурирование утверждений
Презентация утверждений в виде концептуальных карт
Интерпретация карт
Применение карт

Шаг 1: Подготовка
Отбор участников
Разработка фокуса исследования: мозговой штурм, общее собрание

Шаг 2: Выработка утверждений
Мозговой штурм
Количество утверждений - >100
Утверждения → слова, краткие формулировки

Шаг 3: Структурирование утверждений
Процедура неструктурированной сортировки карточек
Комбинирование результатов: таблица или квадратичная матрица
Индивидуальные матрицы → комбинированные матрицы
Ранжирование утверждений (Шкала Лайкерта)

Структурирование утверждений: сортировка карточек

Шаг 4: Представление утверждений
Проведение анализа для помещения концепта на ту или иную точку карты;
Группировка или разделение утверждений на карте по кластерам, которые отражают более высокие порядки концептуальных группировок изначального блока утверждений;
Составление карт, которые покрывают утверждения либо по точкам, либо по кластерам.

Шаг 4.1: Проведение анализа для расположения точек на карте
Многомерное шкалирование – представление совокупности интересующих исследователя объекта в виде некоторого набора точек многомерного пространства некоторой небольшой размерности, при этом каждому объекту соответствует одна точка. Координаты точек истолковываются как значения неких характеристик исходных объектов, которые объясняют их свойства и взаимоотношения.
Неметрическое шкалирование – использование не оценок сходства объектов, а результатов их ранжирования.

Шаг 4.2: Кластерный анализ
Кластерный анализ – метод, позволяющий разбить изучаемую совокупность объектов на группы «схожих» объектов, кластеров.
Аггломеративная группировка – начинаем с создания элементарных кластеров, каждый состоит из одного наблюдения, на каждом последующем шаге объединяем два наиболее близких кластеров в один.

Шаг 4.3: Составление карты
Берем усредненные рейтинги по участникам для каждого утверждения и кластера. Переносим это графически на карту – точечную ранжированную и/или кластерную ранжированную карту.

Шаг 5: Интерпретация карты
Используемые материалы:
Лист утверждений
Кластерный лист
Точечная карта
Кластерная карт
Точечная ранжированная карта
Кластерная ранжированная карта

Лист утверждений
Утверждения, полученный в процессе мозгового штурма:
1)…
2)…
. …
. …
. …
n)…

Лист кластеров
Кластер 1:
1)
13)
2)
75)
78)
Кластер 2:
3)
4)
51)
52)
91)
Кластер 3:
24)
32)
36)
70)
76)
Кластер n:
10)
88)
15)
31)
22)

Точечная карта

Кластерная карта

Точечная ранжированная карта

Кластерная ранжированная карта

Шаг 6: Применение концептуальной карты
При планировании проведения оценивания: метод позволяет акцентировать внимание на ключевых оценочных ресурсах для достижения максимальной эффективности программы.
При выработке консенсуса среди партнеров, заинтересованных в оценке.
В случае отсутствия ясности по поводу программных целей и ожидаемых результатов, а также критериев изменения ситуации.
Техника оптимальна на различных этапах:
В контексте ex ante – для определения основных целей и приоритетов
В контексте ex post – для оформления критериев эффективности и индикаторов
В контексте on going evaluation

Что можно концептуализировать?
Целевая аудитория
География
Тема/содержание программы
Политический цикл
Тренды
Издержки

Метод концептуальных карт:
Преимущества:
занимает мало времени
легкость процесса
учет большого количества мнений, в т.ч. стэйкхолдеров
Недостатки:
подходит лишь для начального этапа
громоздкость метода

Цветовое голосование
Определение
Техника проведения
Pекомендации по применению
Приемы цветового голосования
Соединение метода «мозгового штурма» и «цветового голосования»

Определение цветового голосования
Цветовое голосование – техника, применяемая для проведения встреч, основанная на визуальном представлении мнений в группе. В ситуации оценивания, когда вовлечены несколько участников, оно может быть использовано для структурирования дискуссии и коллективной рефлексии, способствуя выражению всех точек зрения.
Цветовое голосование – это инструмент, повышения объективности оценивания в контексте плюралистического подхода. Этот метод может быть применен для прояснения и классификации вопросов оценивания, выборы критериев оценивания, обоснования заключения и формулировки рекомендаций.

Техника проведение цветового голосования
Цветовое голосование - запись всех высказывания на больших листах бумаги большими буквами и размещение этих листов на стене. Рядом с каждым высказыванием оставляется место для «голосования». У каждого из участников обсуждения в распоряжении имеется некоторое количество разноцветных стикеров (в зависимости от количества обсуждаемых высказываний). Каждый может поместить один или все стикеры напротив заявления (или заявлений), с которым больше всего согласен.

Рекомендации по применению
Количество высказываний: не более 200;
Количество участников: не более 50;
Количество стикеров: общее число стикеров должно примерно совпадать с числом обсуждаемых высказываний (не более 10, не менее 3).

Приемы цветового голосования
Оставлять достаточно места для голосования рядом с обсуждаемыми высказываниями, разграничивать их горизонтальными линиями.
Попросить участников наклеивать стикеры так, чтобы один заходил на другой, в случае голосования несколькими стикерами за одно высказывание одним участником. Тогда по завершении можно будет отследить, сколько человек проголосовало за то или иное высказывание.
Если представлено несколько типов участников, различным группам выдаются стикеры различных цветов. Это позволяет увидеть различие точек зрения различных категорий участников
Можно использовать позитивное и негативное голосование. Например, стикеры красного цвета для голосования против, а зеленого – за.
Можно предложить участникам писать комментарии на стикерах, аргументирующие их позицию.