Трансформационная оценка с использованием комплекса качественных и количественных методов

Проект IPEN «Оценка как инструмент социальных преобразований: внедрение в странах СНГ методологии оценки, основанной на трансформационной парадигме»
Семинар в Алматы
Июль 2011 г.
Ведущая – Донна Мертенс

Оценка в контексте развития проектного подхода
1950-е – появление проектного менеджмента как отдельной профессиональной дисциплины.
1957 – «спутниковый» шок в США. Внедрение проектного подхода в системе образования.
Развитие оценки на базе академических социальных исследований.

Изменение уровня сложности проектов и программ

Вероятность достижения целей проекта

Эволюция представлений о роли оценки
Контроль исполнения программ и проектов – суммирующая/суммативная оценка
Совершенствование программ и проектов – формирующая/формативная оценка
Эволюционное развитие программ – developmental evaluation

Место оценки в управленческом цикле

Эволюция представлений о роли специалиста по оценке

Оценка в контексте академических социальных исследований
«Закон инструмента»
(Абрахам Каплан, 1964):
После того, как исследователь овладевает тем или иным методом, он склонен использовать его когда надо, и когда не надо.
«Методологические предрассудки»
(Майкл Паттон, 1987):
Выбор методологии в значительной мере определяется тем, какое образование получил специалист по оценке.

Философия и практика
Философские взгляды исследователей влияют на все решения, которые они принимает в процессе исследования, включая выбор методов. Многие исследователи не отдают себе отчет, в рамках какой парадигмы они работают и какими философскими представлениями руководствуются. Однако это не значит, что у них нет этих представлений. Чтобы осознанно заниматься исследованиями, оценивать работу коллег и участвовать в теоретических и методологических дискуссиях нужно понимать, какие парадигмы существуют в исследовательском сообществе, и какой парадигме придерживаетесь вы сами.
Донна Мертенс

Что такое парадигма
Парадигма – это линза, через которую человек смотрит на мир, совокупность философских представлений, которые определяют то, как он думает и действует.
Суть парадигмы определяют ответы на четыре вопроса:
Какова природа моральных ценностей?
Какова природа реальности?
Какова природа знания и характер взаимоотношений между исследователем и объектом изучения?
Каким образом можно получить необходимые знания?

Парадигмы в сфере социальных исследований и оценки
Постпозитивистская
Конструктивисткая
Прагматическая
Трансформационная

Постпозитивистская парадигма
Аксиологические положения (Какова природа моральных ценностей?)
Моральный долг исследователя – провести «хорошее» исследование, а специалиста по оценке – «хорошую» оценку.
Честность и непредвзятость.

«Этические принципы и рекомендации о защите человека при проведении исследований» (Бельмонтский доклад, 1979).
Этические принципы:
Работа на общее благо
Исследователь должен максимизировать пользу для науки, человечества и отдельных участников исследования и минимизировать риск и вред.
Уважение личного достоинства
Исследователь должен с уважением обращаться со всеми участниками исследования (в том числе и с недееспособными).
Справедливость
Исследователь должен сделать так, чтобы участники, которые в ходе исследования подвергаются наибольшему риску, получали в результате наибольшую выгоду. Исследовательские процедуры должны быть разумными и тщательно продуманными, исключать эксплуатацию и дискриминацию участников.

«Этические принципы и рекомендации о защите человека при проведении исследований» (Бельмонтский доклад, 1979).
Нормы, которым должно соответствовать исследование:
Валидный дизайн исследования. Некорректно проведенные исследования не только бесполезны, но и неэтичны, потому что не способствуют повышению качества жизни участников.
Исследователь должен обладать компетенциями, необходимым для проведения исследования.
Необходимо определить возможные последствия исследования. Должны быть разработаны процедуры, которые позволят защитить частную жизнь участников, обеспечить конфиденциальность, максимизировать пользу и минимизировать риски.
Выборка, используемая в исследовании, должна соответствовать его целям, быть репрезентативной и достаточной по размеру.
Обязательно добровольное информированное согласие людей на участие в исследовании.
Исследователь должен информировать участников, предусмотрена ли компенсация в случае, если им будет причинен какой-то вред.

Постпозитивистская парадигма
Онтологические положения (Какова природа реальности?)
Реальность одна, но узнать ее можно только с определенной долей погрешности, так как возможности исследователя ограничены.
Невозможно доказать наличие причинно-следственной связи с уверенностью 100%, но можно обоснованно исключить другие возможные варианты причинно-следственных связей.

Постпозитивистская парадигма
Эпистемологические положения (Какова природа знания и характер взаимоотношений между исследователем и объектом изучения?)
Исследователь и участники исследования должны быть независимы друг от друга.

Постпозитивистская парадигма
Методологические положения (Каким образом можно получить необходимые знания)?
Количественные методы

Конструктивистская парадигма
Социальная обусловленность – конструирование – знания
Ценности исследователя имеют решающее влияние на результаты исследования

Конструктивистская парадигма
Аксиологические положения (Какова природа моральных ценностей?)
Исследователи должны:
обеспечить, чтобы все заинтересованные стороны были вовлечены в исследование;
помочь участника исследования осознать свою версию реальности;
знакомить участников исследования с представлениями других участников;
помочь участникам самостоятельно действовать в своих интересах;
обучить участников, как можно действовать в своих интересах;
быть гибкими, наладить доверительные и взаимовыгодные отношения с участниками.

Конструктивистская парадигма
Онтологические положения (Какова природа реальности?)
Множество версий реальности
Задача исследователя – выявить эти версии

Конструктивистская парадигма
Эпистемологические положения (Какова природа знания и характер взаимоотношений между исследователем и объектом изучения?)
Интерактивная модель сбора данных
Не объективность, а доказательность
Описание источников информации и цепочки логических заключений, которая привела в полученным выводам

Конструктивистская парадигма
Методологические положения
(Каким образом можно получить необходимые знания)?
Качественные методы: интервью, наблюдение, изучение документов

Прагматическая парадигма
Аксиологические положения (Какова природа моральных ценностей?)
Ценность исследования или оценки определяется полезностью
Моральная задача исследователя – достичь поставленной цели

Прагматическая парадигма
Онтологические положения (Какова природа реальности?)
Прагматизм позволяет одновременно признавать наличие одной объективной реальности и множества различных ее интерпретаций.

Прагматическая парадигма
Эпистемологические положения (Какова природа знания и характер взаимоотношений между исследователем и объектом изучения?)
Специалист по оценке должен ответить на вопросы оценки, используя при этом методы, которые он сочтет подходящими.

Прагматическая парадигма
Методологические положения (Каким образом можно получить необходимые знания)?
Комплексное использование качественных и количественных методов

Трансформационная парадигма
Приоритетность социальной справедливости и соблюдения прав человека

Трансформационная парадигма - предпосылки
Всемирная декларация о правах человека (1948)
Декларации ООН по правам различных групп:
представителей разных рас
людей с ограниченными возможностями
женщин
детей
рабочих-мигрантов
коренных и малочисленных народов

Аксиологические положения трансформационной парадигмы
Необходимо выявлять и поддерживать культурные нормы, которые способствуют соблюдению прав человека и достижению социальной справедливости.
Необходимо выявлять и подвергать критике культурные нормы, которые способствуют сохранению социальной несправедливости.
Специалист по оценке должен что-то дать сообществу в обмен на информацию.
Необходимо ценить и уважать знания и опыт, накопленные сообществами, где реализуются оцениваемые программы, определять сильные стороны этих сообществ.
Специалист по оценке должен стремиться к тому, чтобы действия, направленные на достижение социальной справедливости и соблюдение прав человека, продолжились в сообществе и после окончания оценки.
Специалист по оценке должен понимать, что его возможности и полномочия ограничены, и не давать людям пустых обещаний.

Онтологические положения трансформационной парадигмы
Существует несколько версий реальности.
Разные версии реальности не имеют равной ценности и равного значения.
Существующие версии реальности дают привилегии определенным группам людей по признакам социальной, политической, экономической, этнической, гендерной и религиозной принадлежности и по другим признакам, например, наличию инвалидности.
Специалист по оценке должен подвергать критическому анализу версии реальности, которые поддерживают социальную несправедливость.
Специалист по оценке должен выявлять версии реальности, которые способствуют достижению социальной справедливости и соблюдению прав человека.

Эпистемологические положения трансформационной парадигмы
Взаимодействие между специалистом по оценке и заинтересованными сторонами должно быть интерактивным.
Специалист по оценке должен сознавать, что знание социально и исторически обусловлено.
Специалист по оценке должен открыто признавать, что у одних людей больше власти, чем у других.
Специалист по оценке должен устанавливать доверительные отношения с заинтересованными сторонами.

Культурная компетентность как основа построения доверительных отношений
с участниками оценки
Правила проведения оценки в сообществах маори:
Уважение к людям – дайте людям возможность самим определять место встречи и порядок общения.
Важно встречаться с людьми лицом к лицу и проводить в сообществе достаточно времени, чтобы люди к вам привыкли.
Смотрите и слушайте, и только потом говорите – вы должны сначала разобраться, что происходит в сообществе, чтобы найти правильный подход.
Будьте осторожны. Помните, что вы чужой в сообществе, учитывайте местные культурные традиции и местную политику.
Уважайте чувство достоинства членов сообщества.
Будьте скромным и смиренным. Не кичитесь своими знаниями, ищите способы поделиться им.

Стратегии входа в «неродные» для специалиста по оценке сообщества
Изучение литературы и консультации с представителями сообщества
Включение представителей сообщества в состав команды специалистов по оценке
Создание консультативной группы из представителей всех заинтересованных сторон
Открытость относительно своих знаний и опыта, признание своих ограничений
Заручиться поддержкой людей внутри сообщества, которые будут вашими «проводниками» и поддержат в процессе работы

Пример: оценка программы подготовки глухих учителей для глухих детей с инвалидностью
Состав команды специалистов по оценке:
Донна Мертенс
2 глухих, владеющих американским языком жестов
1 глухой, пользующийся слуховым имплантом

Методологические положения трансформационной парадигмы
Начиная планировать оценку, специалист по оценке должен собрать качественную информацию относительного культурного контекста, в котором ему предстоит работать.
Одним заинтересованным сторонам больше подходят количественные данные, другим – качественные.
Используемые методы должны отражать сложность существующих социальных отношений и норм и соответствовать культуре различных групп, вовлеченных в оценку.
Использование цикличного дизайна позволяет использовать промежуточные результаты оценки в процессе ее проведения.

Пример: оценка программы подготовки глухих учителей для глухих детей с инвалидностью - методология
Изучение документации
Наблюдение во время семинара для выпускников программы
Интервью с участниками семинара
Опрос выпускников программы

Пример: оценка программы подготовки глухих учителей для глухих детей с инвалидностью - методология
Интервью с преподавателями
Вопрос:
Я хочу показать вам результаты опроса среди выпускников программы и интервью с ними, и узнать ваше мнение относительно этих данных. Например, мы спросили выпускников, насколько подготовленными они себя чувствовали в разных вопросах. Вот как люди ответили на вопрос, насколько готовы они были взаимодействовать с коллегами и руководством на первом месте работы:

Пример: оценка программы подготовки глухих учителей для глухих детей с инвалидностью - методология
Когда я закончил программу, то думал, что готов преподавать. А потом директор дал мне список учеников, выделил классную комнату, и на этом умыл руки. Я был предоставлен самому себе. Директор не спрашивал с меня учебных планов на неделю, как с остальных учителей, потому что думал, что я буду преподавать только язык жестов. Я сказал ему: «Я здесь, чтобы действительно преподавать». Нас (меня и моих учеников) не приглашали на школьные собрания. Так что первый год дался мне очень нелегко. Поэтому я перешел в другую школу, которая оказалась намного лучше. Сейчас я работаю в школе, где коллеги верят, что глухие дети способны учиться. (Выпускник программы, интервью, май 2007)

Пример: оценка программы подготовки глухих учителей для глухих детей с инвалидностью - методология
Ответ одного из преподавателей на этот вопрос:
Мне бы хотелось, чтобы хотя бы в первый год и даже во второй год работы у наших выпускников был наставник из числа более опытных коллег по школе. Это здорово помогло бы, особенно в первый год. И еще одна вещь, которая бы могла быть полезной. Нужно, чтобы выпускники поддерживали связь друг с другом… Мы должны научить их, что они должны поддерживать и наставлять более молодых выпускников. (Преподаватель, июнь 2007)

Пример: оценка программы подготовки глухих учителей для глухих детей с инвалидностью - методология
По результатам оценки - презентация на собрании ассоциации университетских преподавателей, которые готовят школьных учителей для глухих школьников в США и Канаде

Пример: оценка программы подготовки глухих учителей для глухих детей с инвалидностью – изменения в интересах участников программы и глухих школьников
Создана он-лайн группа для выпускников программы
Обсуждение на форуме ассоциации университетских преподавателей, которые готовят школьных учителей для глухих школьников в США и Канаде

Молодежь Ботстваны против СПИДа
Постпозитивистский подход:
Информационная кампания “Don’t be stupid – condomize!”
Трансформационный подход:
Изучение отношения к ВИЧ в различных социальных группах

Характеристики многообразия - гендер

Дизайн и методы – взгляд через призму трансформационной парадигмы

Экспериментальный дизайн
Эксперимент – единственный способ установить наличие причинно-следственной связь
Контрольная и экспериментальная группы
Случайное распределение по группам
Возможность контроля условий проведения эксперимента
Специалиста по оценке нужно привлекать уже на стадии дизайна проекта
ТП: выявление наиболее уязвимых групп, введение дополнительных переменных

Квази-экспериментальный дизайн
Не контрольная, а сравнительная группа
Статистические методы подбора участников сравнительной группы
Специалиста по оценке желательно привлекать на стадии дизайна проекта

Пре- и пост-тест
Измерение параметров объекта воздействия проекта до и после его реализации
Специалиста по оценке нужно привлекать на этапе дизайна проекта

Лонгитюдный дизайн
Измерение – несколько раз: до, в процессе и по окончании проекта
Этот дизайн заложен в теории проектного менеджмента
Специалиста по оценке обязательно привлекать на стадии дизайна проекта

Пост-тест-дизайн
Финальная оценка – наиболее распространенный вариант
ТП: необходимо проанализировать структуру власти и привилегий внутри программы; целенаправленно собрать данные о мнении наименее привилегированных групп

Тестирование
Измерение уровня знаний
ТП: ключ с правильными ответами
Психологические тесты
ТП: обсудить результаты с респондентами
Учет культурных особенностей при подготовке тестов

Опрос
Интервью или фокус-группы на этапе разработки анкеты
Апробация анкеты
Анкетирование
ТП: вопросы дизайна анкет
Затрудняюсь ответить!!

Наблюдение
Необходим период адаптации участников проекта к наблюдателям
ТП: участие наблюдаемых в интерпретации данных наблюдений

Изучение документов
Взгляды наименее привилегированных групп часто не отражены в проектной документации

Дневниковые записи
Дневник специалиста по оценке – заметки в ходу оценки
Дневниковые записи сотрудников и участников программы

Интервью
Структурированные интервью
Полуструктурированные интервью
ТП: Взаимность – специалист по оценке знаком с опытом других людей и других проектов, эти знания могут иметь ценность для респондентов

Фокус-группы
Применение техник, которые позволят включить в обсуждение людей с разными предпочтениями: вербальный и визуальный способы коммуникации
«Корзинка мнений» - безопасный для участников способ выразить мнение, отличное от мнения авторитетных участников

Кейсы
Возможно углубленное изучение механизма воздействия проекта
Целевые выборки
Критические различия – кейс участника, принадлежащего к наиболее привилегированной группе, + кейс участника, принадлежащего к наименее привилегированной группе

Методы, ориентированные на сообщество
PAR – исследование действием
Appreciative enquiry – позитивный анализ: определение сильных сторон сообщества и того, как их можно использовать, чтобы реализовать его цели и мечты

Методы, использующие визуальные данные
PhotoVoice – использование фотографии
Draw the Path – индивидуальная или групповая картина, представляющая опыт участия сообщества в проекте

Сочетание качественных и количественных методов в процессе трансформационной оценки

Гендерный анализ как модель комплексного использования качественных и количественных методов

Как сочетать методы
Совместимость: Совмещайте цель, фокус, вопросы и дизайн.
Фактор времени: Определите, как будет разнесено во времени использование качественных и количественных методов.
Удельный вес: Определите приоритеты и фокусы для качественного и количественного подходов в рамках исследования.
Сочетание: Определите, на каком этапе оценки вы будете сводить вместе качественные и количественные методы.

Дизайн трансформационной оценки с использованием качественных и количественных методов
Post
tests:
Quant
Qual;
Behavior
& Policy
Change;
Transfer
To other
contexts
Этап 1
Качествен-ные методы
Этап 2
Одновре-менно
Этап 3
Последо-вательно
Этап 4
Одновре-менно
Соберите команду, изучите документы, начните диалог
Предвари-тельное исследования: молодежь, взрослые
Демографи-ческая информация; опросы; статистика
Пилот программы: наблюдение; интервью, опросы
Пре-тест: знания, отношение, поведение
Оценка процесса
Пост-тест: качест-венные, количест-венные, изменения в поведении и политике; перенос в другие условия

Модели цикличного дизайна
Консультативная группа из представителей благополучателей проекта
Регулярные встречи участников проекта для обсуждения полученного опыта

Представление результатов оценки
Кому принадлежат результаты оценки?
ТП: сообществу, в котором реализуется проект.
Форматы представления результатов:
Письменный отчет
Презентация
Карты, картины, театрализованные выступления

Спасибо за внимание.
Пожалуйста, ваши вопросы.