Использование эконометрических методов в оценивании программ (на примере анализа заработных плат в бюджетном секторе)

План презентации
Постановка проблемы
Сравнительный анализ неэкспериментальных методов оценивания:
Сравнение средних
МНК-регрессия (OLS)
Непараметрические методы:
Подбор контрольной группы (matching)
Подбор контрольной группы по индексу соответствия (propensity score matching)
Использование инструментальных переменных (switching regression)
Эмпирические оценки:
Гимпельсон В., Лукьянова А. «О бедном бюджетнике замолвите слово...»: межсекторные различия в заработной плате, Препринт ГУ-ВШЭ WP3/2006/05, 2006.

О каких ситуациях идет речь?
Задача –
Оценка эффекта от участия в программе на микроуровне
Типы программ –
Программы, непосредственными бенефициарами в которых являются домохозяйства или индивиды
Примеры: активные программы на рынке труда, программы обучения, налоговые кредиты и др.
Пример: программы борьбы с бедностью
Требования к данным –
Минимум - наличие репрезентативного опроса населения, в котором задается вопрос об участии в программе
Желательно – наличие панельного обследования населения, включающее опросы в период до участия в программе, во время участия и по завершении программы

Какие проблемы возникают?
Missing data problem!!!
В каждый момент времени человек может находится только в одном из двух состояний – участвовать или не участвовать в программе.
Если он участвует в программе, то мы не можем наблюдать, что было бы, если бы он не участвовал в программе.
Но именно эту разницу мы и хотим знать!
Примеры: рождаемость, обучение, бедность
ЗАДАЧА – оценить, что было бы, если бы человек не участвовал в программе, т.е. «рассчитать» ненаблюдаемое условное значение (COUNTERFACTUAL) интересующего нас параметра в отсутствие программы

Неэкспериментальные
методы оценивания
Для данных за один период (cross-section):
Сравнение средних
МНК-регрессия (OLS)
Методы подбора контрольной группы (matching)
Использование инструментальных переменных (IV)

Сравнение средних
Контрольная группа = все не участвующие в программе
Главная проблема - неслучайный отбор в программу
Требования к участникам (отбор по наблюдаемым характеристикам): программа может иметь жесткие условия и распространяться на ограниченный круг потенциальных бенефициаров.
ЛИБО программа открыта для всех, но фактически характеристики участников и неучастников существенно различаются ⇒ Самоотбор (влияние ненаблюдаемых характеристик): Часть индивидов, подходящих по условиям программы, может выбрать не участвовать в программе.
СРАВНИВАЮТСЯ НЕСОПОСТАВИМЫЕ ИНДИВИДЫ
Di =0 – индивид i не участвует
Di =1 – индивид i участвует

МНК-регрессия
Контрольная группа = индивиды, не участвующие в программе, но формально сопоставимые по наблюдаемым характеристикам (Х)
Проблемы -
Не учитывает формальный отбор в программу → смещение в оценке коэффициента s (selection bias due to observables)
Не учитывает ненаблюдаемые характеристики, влияющие на участие в программе → смещение в оценке коэффициента s (selection bias due to unobservables)
Риски, того что области наблюдаемых характеристик для участников и неучастников сильно разнятся (lack of common support) → смещение в оценке коэффициента s
Задает жесткую функциональную форму зависимости → риски неправильной спецификации
Эффект предполагается одинаковым для всех подгрупп
Средний эффект от программы
Дамми-переменная для участия в программе:
Di =0 – индивид i не участвует
Di =1 – индивид i участвует

Методы подбора контрольной группы
(Matching)
Контрольная группа = индивиды, не участвующие в программе, но фактически сопоставимые по наблюдаемым характеристикам (Х)
Решает проблемы:
Формального отбора в программу
Не фиксирует форму функциональной зависимости от Y от Х
Остаются проблемы:
Не учитывает ненаблюдаемые характеристики, влияющие на участие в программе (selection bias due to unobservables)
Отбор контрольной группы по множеству критериев (увеличиваются требования к данным)
Имитирует естественный эксперимент:

PSM (Propensity Score Matching)
Подбор контрольной группы по индексу соответствия
Propensity Score -
вероятность его участия в программе в зависимости от множества его наблюдаемых характеристик PS∈[0; 1],
рассчитывается для каждого индивида на основе пробит- или логит- модели,
Индивиды со схожими характеристиками – независимо от того, подверглись они воздействию или нет - имеют близкие значения индексов
Решает проблемы:
Формального отбора в программу
Не фиксирует форму функциональной зависимости от Y от Х
Сокращает число критериев по которым идет отбор контрольной группы
Остаются проблемы:
Не учитывает ненаблюдаемые характеристики, влияющие на участие в программе (selection bias due to unobservables)
Фиксирует форму функциональной зависимости вероятности участия Р от Х

Регрессия с переключением режимов
(switching regression)
Контрольная группа = индивиды, не участвующие в программе, но формально сопоставимые по наблюдаемым характеристикам (Х) с учетом корректировки на ненаблюдаемые характеристики, которые влияют на решение об участии в программе
Решает проблемы:
Формального отбора в программу
Влияния ненаблюдаемых переменных
Остаются проблемы:
Фиксирует форму функциональной зависимости вероятности участия Р от Х, Y от Х
Проблема выбора адекватных инструментов

Сравнение методов оценивания

Эмпирические оценки

Данные
НОБУС (Национальное обследование благосостояния домохозяйств и участия в социальных программах) – апрель-май 2003 г., 44,5 тыс. д/х, 110 тыс.чел.
Выборка (46 622 чел.):
Возраст – от 15 до 72 лет,
Работающие по найму
Зарплата только по основному месту работы
Определение бюджетного сектора:
Респонденты, работающие в образовании, здравоохранении либо государственном управлении в организациях государственной или муниципальной формы собственности.

Методы оценки межсекторного разрыва
Подходы:
сравнение рабочих мест (но, как правило, нет данных)
сравнение работников
Альтернативы:
Сравнение средних
МНК-регрессия
Matching - непараметрические методы, основанные на подборе контрольной группы
PSM (Propensity Score Matching)
SR-регрессия (Switching regression - регрессия с переключением режимов)

Сравнение средних ЗП
Недостатки:
Не учитывает различий в составе занятых по секторам
Не учитывают неслучайность выбора сектора.
1. Эффекты воздействия могут сильно различаться по подгруппам населения.
2. Программа может иметь жесткие условия и распространяться на ограниченный круг потенциальных бенефициаров.

Средние бюджетник и небюджетник очень сильно отличаются по своим характеристикам
Среди бюджетников
БОЛЬШЕ:
Женщин
Жителей сел и малых городов
Имеющих высшее образование
Долго работающих в своей организации
МЕНЬШЕ:
Начинающих свою трудовую карьеру
Продолжительность рабочего времени

МНК-регрессия
Di =1 для бюджетников, Di =0 для небюджетников
Индивидуальные характеристики (хi ):
пол,
образование,
профессиональный статус,
общий трудовой стаж,
стаж работы на предприятии,
территория проживания (региональные дамми),
размер населенного пункта (места проживания),
средняя продолжительность рабочей недели

МНК-регрессия

Методы подбора контрольной группы
(Matching)
2 варианта:
Без учета региональных различий (вся выборка)
Точное совпадение: пол, образование (8 группы), профессиональная группа (9), тип поселения (4)
Неточное совпадение: стаж, продолжительность рабочего времени возраст
С учетом региональных различий (46 регионов)
Точное совпадение: то же + регион
Неточное совпадение: то же
Принадлежность к бюджетному сектору рассматривается как воздействие на группу индивидов, в результате которого их зарплаты отклоняются от тех, которыми могли бы быть в небюджетном секторе.

Propensity Score Matching – PSM
Методы поиска контрольной группы:
Метод «ближайшего соседа» (минус метода - зависит от порядка сортировки данных)
Для расчета стандартных ошибок – бутстреппинг
Характеристики (те же что в МНК):
пол,
образование,
профессиональный статус,
общий трудовой стаж,
стаж работы на предприятии,
территория проживания (региональные дамми),
размер населенного пункта (места проживания),
средняя продолжительность рабочей недели

Методы подбора контрольной группы
(Matching)

SR-регрессия
Спецификация
Уравнения ЗП – те же переменные, что в МНК-регрессии
Уравнение отбора - то же + дамми для наличия в д/х детей в возрасте 0-7 лет + дамми для наличия детей в возрасте 8-15 лет + дамми для сокращенной рабочей недели (< 36 ч.)