Практические аспекты мониторинга программ

Мониторинг как функция управления программой
Контроль
Получение
нового знания
Инспекция
Выявление и
предотвращение
нарушений
Аудит
Проверка на
соответствие
Мониторинг
Отслеживание хода
программы по
сравнению с планом
на основании замера
значений показателей
(индикаторов)
Оценка
Анализ процесса выполнения программы, достигнутых результатов и причин отклонений от плана
Исследование
Получение нового знания,
моделирование

Мониторинг
Систематический сбор информации о значениях заранее выбранных индикаторов для обеспечения руководителей и других заинтересованных сторон сведениями о том, насколько успешно выполняется программа развития, в какой степени достигаются поставленные цели и как используются фонды, выделенные на данную программу.

Построение системы мониторинга
ПРОБЛЕМА
РЕШЕНИЕ
ПРОБЛЕМЫ
ПРОЦЕСС
Люди
Оборудование
Среда
Технологии
Материалы

Ограничения системы мониторинга
Измеряет только то, что мы запланировали заранее
Не измеряет то, что мы не запланировали заранее
Констатирует факты, но не объясняет их причин
Есть риск манипулирования значениями индикаторов (термометр – к свечке)

Построение системы мониторинга программы
Разработать индикаторы и дать им определения
Определить источники информации
Выбрать методы сбора данных
Определить периодичность и график сбора данных
Распределить ответственность за сбор данных
Сформировать каналы передачи данных лицам, принимающим решения
Определить порядок обработки данных и разработать соответствующие инструменты
Определить схему распространения и использования информации
Обучить людей, которые будут заняты в проведении мониторинга
Предусмотреть в бюджете расходы на мониторинг

Что такое индикатор?
(применительно к программе)
Количественный или качественный показатель, который служит простым и надежным средством измерения достижений, отражает изменения, вызванные программой или помогает оценить деятельность структуры, осуществляющей программу.
GLOSSARY OF EVALUATION AND RESULTS BASED MANAGEMENT TERMS
http://www.oecd.org/dataoecd/secure/15/58/31736145.pdf

Типы индикаторов
В зависимости от того, какие характеристики программы измеряются: количественные или качественные
В зависимости от того, что они измеряют: вход, процесс, непосредственный результат, общий результат, влияние
Если измеряют косвенным образом: прокси-индикаторы

Матрица критериев мониторинга по М.Фридману
Усилия
(как сильно мы
старались?)
Результат
(Стало ли кому-то
лучше?)
Количество
Качество

Индикаторы следует иметь для результатов всех уровней
© Компания «Процесс Консалтинг», 2010

Каково идеальное число индикаторов?
Минимальное число, которое позволяет ответить на вопрос: «Достигнут ли результат?»
“Ten steps”, стр. 67

Кто должен разрабатывать индикаторы?
Эксперты в данной предметной области!!!
“Чтобы разработать хорошие индикаторы придется предпринять больше, чем одну попытку. Создание окончательного перечня хороших индикаторов требует времени”
“10 steps”, стр.74

Что такое «хороший индикатор»?
(“10 steps”, page 68)

Признаки хорошего вопроса (по М.Пэттону):
0. Это должен быть вопрос ☺
Для ответа на этот вопрос можно получить информацию с помощью эмпирического исследования.
В вопросе не заложен ответ.
Те, кто будут принимать решения, действительно нуждаются в ответе на этот вопрос.
Те, кто будут принимать решения и пользоваться информацией, хотят получить ответ на вопрос для себя, а не для кого-то другого.
Те, кто будут принимать решения, могут объяснить, как они будут использовать ответ, то есть как ответ будет влиять на их дальнейшие действия.

Признаки полезного индикатора (в традициях оценки, ориентированной на использование):
Его значение можно измерить.
Его значение заранее неизвестно и действительно может меняться.
Тем, кто управляет программой, действительно нужно иметь информацию о значении индикатора.
Те, кто будут принимать решения и пользоваться информацией, хотят знать значение индикатора для себя, а не для кого-то другого.
Те, кто будут принимать решения, могут объяснить, как они будут использовать сведения о значении индикатора, то есть как это значение может влиять на их дальнейшие действия.

Формат описания индикатора
Компонент программы, к которому относится индикатор
Название индикатора
Определение индикатора
Исходное значение индикатора
Плановое (целевое) значение индикатора
Когда должно быть достигнуто целевое значение
Период использования индикатора
Частота измерения
Источник информации
Метод сбора данных
Комментарии

Пример 1
Результат: «Разработана и утверждена информационно-методическая база (ИМБ) Центра»
Индикатор «Полнота ИМБ»
Доля утвержденных документов, составляющих информационно-методическую базу Центра, от общего числа документов, которые должны быть разработаны и утверждены.

Пример 2
Число консультаций для граждан, относящихся к целевой группе, на базе Центра
Определение: что такое «консультация»
Важный вопрос: как определить, относится ли клиент к целевой группе и действительно ли нам это нужно?

Пример 2 (продолжение)
Консультация – это индивидуальная или групповая беседа специалиста Центра с клиентом(ами) Центра (лично или по телефону), проводящаяся на территории Центра, в рамках которой клиент(ы) получает(ют) совет или разъяснение по вопросам относящимся к сфере деятельности Центра.
Консультации могут быть пяти видов: медицинская, психологическая, юридическая, по восстановлению документов, по трудоустройству.
Клиент – это человек, который, с его слов, относится к целевой группе, и обратился с запросом в Центр.

Пример 3
Параметр: качество услуг ЭП
Индикатор: уровень интерактивности сайта
Что такое интерактивность?
Интеракция – обмен действиями, взаимодействие.
Интерактивность: «возможности для пользователя взаимодействовать с сайтом»

Качество услуг: уровни интерактивности
Наличие информации
Возможность загрузки данных
Обмен информацией
Взаимодействие, решение проблем, приобретение услуг и товаров

Методика оценки уровня интерактивности сайта ЭП (Нидерланды)
Уровень
интерактивности