Канадская школа государственной службы Семинар на тему: “Проведение оценки программ” Новосибирск, Российская Федерация 18-

План презентации
A. Типы, цели, подходы оценки
B. Требования к вводимым ресурсам и возможностям
C. Разработка достоверных показателей эффективности
D. Уроки международного опыта

ЧАСТЬ A.
ТИПЫ, ЦЕЛИ, ПОДХОДЫ ОЦЕНКИ

Последовательность
ЗАТРАТЫ ЛЮДСКИЕ РЕСУРСЫ,
МАТЕРИАЛЬНЫЕ, ФИНАНСОВЫЕ И Т.Д.
ПРОДУКТ
ЧТО СОЗДАНО ПО ПРОГРАММЕ, ДЕЯТЕЛЬНОСТЬ
РЕЗУЛЬТАТЫ
РЕЗУЛЬТАТЫ в контексте поставленных ЦЕЛЕЙ
ПОЛУЧЕННЫЙ ЭФФЕКТ
ВОЗДЕЙСТВИЕ В ЦЕЛОМ НА УСЛОВИЯ ЖИЗНИ И БЛАГОПОЛУЧИЕ НАСЕЛЕНИЯ
Аудит
Мониторинг
Оценка
Пересмотр политики

Способы оценить эффективность работы
Аудит
Мониторинг
Оценка
Комплексное корректирование политики/программы
Все этапы различны, но при этом дополняют друг друга, и в комплексе обеспечивают постоянный и всесторонний контроль эффективности и качества работы

Функция аудита
Старейший, традиционный подход к оцениванию работы организации
По-прежнему играет важную роль
Изначально разработан как инструмент контроля целевого и рационального использования ресурсов (затрат) для получения продукта.
Призван обеспечить соблюдение законов, нормативных актов и процедур и способствовать повышению прозрачности

Функция оценки
Во многих странах оценка эффективности деятельности имеет более чем 30-летнюю историю
Оценивает результаты
Основное внимание уделяется трем моментам:
Результат - достигла ли программа планируемых результатов?
Воздействие - какие дополнительные блага принесла программа населению (получателям)?
Альтернативы - существуют ли более оптимальные способы получения желаемого эффекта
Использует социологические методы для обеспечения точности и объективности
ГЛАВНОЕ ЗДЕСЬ НЕ КОНТРОЛЬ ИЛИ СООТВЕТСТВИЕ ТРЕБОВАНИЯМ

Мониторинг
более современный процесс
Новая управленческая функция, которую на постоянной основе осуществляют руководители и сотрудники программы
В центре внимания – соотношение между затратами, созданным продуктом и результатами первого уровня; учитываются как степень достижения результатов, так и целесообразность методов их достижения
Создан чтобы заполнить «пробелы» в процессе оценки программ
Определение
функция внутреннего управления, осуществляемая на постоянной основе с целью обеспечения достижения программой поставленных задач (результатов) в рамках установленного графика и бюджета (затраты и продукт).

Интеграция всех процессов
Все это формы «оценок эффективности работы программы, нацеленные на различные аспекты и проводимые в различное время и с различной частотностью. Все они взаимодействуют в целях повышения качества управления
Аудит
В центре внимания: целевое использование ресурсов, законность и прозрачность
Внешняя по отношению к программе – внешний аудит
Проводится либо «внутренними аудиторами» министерства либо Национальным аудиторским управлением (Счетной палатой)‏
Мониторинг
В центре внимания: соотношение затрат, созданного продукта и результатов первого уровня; помогает повысить качество выполнения программ и соблюдение графика
Проводится самими руководителями и сотрудниками программ с использованием управленческих информационных систем, обеспечивающих постоянный сбор имеющихся данных
Включен в программу, требует наличие инф. системы
Результаты могут быть использованы при подготовке периодической и годовой отчетности

Интеграция всех процессов
продолжение
Оценка
В центре внимания: результаты и долгосрочная актуальность политики и программы
Внешняя по отношению к программе
Проводится специалистами по оценке из числа сотрудников Министерства либо независимыми экспертами.
Оценки программ
Могут проводится на этапе реализации программы; в течение цикла программы; либо в конце мандата программы
Несколько типов, преследующих различные цели, проводятся в различное время, разного объема и т. п.
Таким образом: должен быть сделан выбор в ходе планирования, подготовки и проведения оценок (более подробно об этом – в следующей презентации)

Разработка и одобрение политики и программы
Год реализации 1-4
Периодический аудит с целью проверки соблюдения финансовых и процедурных требований
Оценка результата и эффекта программы, как правило в конце программного цикла
Пересмотр политики и концепции программы на основе данных оценки (следующий цикл)‏
Мониторинг внутренний
Мониторинг внутренний
Мониторинг внутренний
Современный программный цикл

Стратегические Проблемы Оценки
ЧАСТЬ B.
ТРЕБОВАНИЯ К ЗАТРАТАМ И ВОЗМОЖНОСТЯМ

Предпосылки для систематического мониторинга и оценки
Планирование, ориентированное на результат
Информационные системы программы
Эффективно работающие Национальное управление аудита и Национальное бюро статистики
Выявленная потребность
Готовность вкладывать средства в процесс наращивания потенциала

Два вида планирования
Планирование, ориентированное на «продукта»
Что мы делали или намеревались сделать - объекты, услуги и т.д.
В центре внимания - соблюдение правил и контроль расходов
Отчетность; ретроспективный контроль денежных затрат и произведенных благ
Определение успеха: «сделать дело»
Планирование, ориентированное на результат
Что мы намерены достичь или улучшить
В центре внимания – оказанное воздействие + соблюдение правил
Отчетность; взгляд вперед - что меняется благодаря нашим действиям?
Определение успеха: менять ситуацию к лучшему и знать, как это делается!

Национальное управление аудита
Играет огромную роль в обеспечении эффективности, соблюдения процедур и законности, а также прозрачности
Повышает возможности проверок и понимание основ оценки эффективности – взаимоотношения между «вкладом» и «продуктом»
Ценное разделение функций между соблюдением требований (аудит) и функций, которые более тесно связанны с вопросами политикой и задачами, такими как мониторинг и оценка

Национальное бюро статистики
Важный источник информации, позволяющей судить о достигнутых результатах, необходимой для оценки и разработки долгосрочной политики
Укрепление статистических органов часто является компонентом программ по развитию потенциала формирования политики
______________________
ПРИМЕЧАНИЕ: Информационные базы данных программ, охватывающие более обширные массивы, нежели чем только стандартные финансовые данные о вводимых ресурсах, должны разрабатываться, создаваться и поддерживаться в министерствах как неотъемлемая часть работы по управлению программами

Выявленная потребность
Мониторинг и оценка включают в себя выявление того, что и когда необходимо осуществить в стране
Каждый случай индивидуален
Потери денег и времени неизбежны, если отсутствуют следующие базисные условия:
Наличие системы планирования, ориентированной на результат;
Наличие системы внешнего и внутреннего аудита;

Инвестирование в мониторинг и оценку
Не дешево и не быстро
Недостаточно отдать распоряжение
Для проведения мониторинга требуется специальная подготовка сотрудников и руководителей и создание управленческих информационных систем
Для проведения оценки необходимо привлечь или обучить специалистов
Существует много хороших международных программ профессиональной подготовки

Стратегические проблемы оценки
ЧАСТЬ C.
РАЗРАБОТКА ДОСТОВЕРНЫХ ПОКАЗАТЕЛЕЙ ЭФФЕКТИВНОСТИ ДЕЯТЕЛЬНОСТИ

Показатели эффективности деятельности
Количественные и качественные показатели, используемые для оценки работы организации
Два основных определения
количественные или качественные переменные, позволяющие измерить достигнутое и отразить изменения, связанные с проведением программы или оказанием услуг
переменные, дающие информацию о том, насколько политика или программа достигают своих результатов

Показатели эффективности деятельности - Зачем?
Они дают менеджерам, принимающим решения, и руководителям необходимую фактическую информацию для оценки эффективности и целесообразности политики и программ
Они позволяют управленцам повысить качество программ
Они создают фактическую базу для выбора из возможных вариантов политик и программ

Показатели для мониторинга
Сбор данных ведется в рамках самой программы
Основные данные о том, как затраты превращаются в произведенный продукт и о характеристиках продукта
а также – основные данные о результатах первого уровня
Сбор данных ведется постоянно в рабочем порядке; данные регулярно анализируются менеджерами программы

Показатели для мониторинга
Некоторые примеры
Программа грантов работодателям, нанимающим молодежь
Количество молодых людей, нанятых на работу предприятием
Количество полученных заявок на гранты
Количество принятых и рассмотренных заявок
Средняя сумма гранта
Типы рабочих мест
Географическое распределение
Расходы программы - как в плане денег, так и людских ресурсов

Показатели для
Оценки
Более сложные, чем для мониторинга
Обычно показатели разрабатываются специалистами по оценке, а сбор данных ведется в ходе оценки
В большей степени раскрывается влияние на общество в целом и долгосрочный эффект
Отражает различие между оценкой и мониторингом
Мониторинг = более краткосрочный
Оценка = более долгий по времени процесс; служит основой для принятия решений при разработке политик и программ

Показатели для оценки
примеры
Используя тот же пример программы грантов:
Общие изменения картины занятости молодежи
Общие изменения динамики занятости в отраслях, получивших гранты
Общие изменения производительности труда в отраслях, получивших гранты
Общие изменения уровня личных и семейных доходов
Общие изменения вложений частного сектора в отрасли, получившие гранты

Стратегические проблемы оценки
ЧАСТЬ D.
УРОКИ МЕЖДУНАРОДНОГО ОПЫТА

Заключение - главные уроки, усвоенные другими странами
Нет единого рецепта и подхода
Требует времени и ресурсов
Предполагает постепенное развитие, расширение и совершенствование – учимся в процессе
Если начало слишком быстрое, слишком сложное или поставлены завышенные цели, могут возникнуть сложности
Требуется открытый стиль руководства и желание учиться новому, и не только распоряжения правительства
Если уделять внимание только отчетности, ничего не получится

Нет готовых моделей
Каждое государственное ведомство проводит мониторинг и оценку по-своему, исходя из своей истории, структуры и возможностей
Различия в способах проведения и в используемой терминологии совершенно естественны
«Форма следует за функцией» - главное внимание уделяется функциям и развитию возможностей, а не формулировкам
Мониторинг и оценка - не догма; они развиваются со временем по мере развития государственной службы

Время и ресурсы
Эффективное проведение мониторинга и оценки требует времени и денег
Например, в государствах ОЭСР и в системе ООН их внедрение заняло много лет и продолжается до сих пор.
Требуется твердая приверженность
Людей нужно обучать и стимулировать – новое мышление не приходит само собой

Постепенное развитие
Те, кто пытался сделать «все и сразу», потерпели неудачу
Недостаточно обученных людей
Слишком много трудных задач одновременно
Поэтапное развитие с опорой даже на небольшие успехи
Обязательное предварительное условие - хорошо поставленная система аудита
За ней следует мониторинг
Для оценки требуется самый высокий уровень квалификации
На развитие системы оценки эффективности деятельности могут уйти годы

Следование правилам – не решение задачи
Внедрение мониторинга и оценки - не просто следование "новым правилам".
Если все сводится к соблюдению правил и написанию отчетов, возникает сопротивление переменам
Мониторинг и оценка – это новое представление о том, как планировать политику и программы и управлять ими
Руководители должны увидеть пользу мониторинга в своей повседневной работе
Руководители должны воспринимать оценку как инструмент получения информации, благодаря которому они улучшат политику и программы