Статистические методы в изучении предпринимательства

Статистика – совокупность методов, которые дают нам возможность принимать решение в условиях неопределённости. Абрам Вальд
Основные проблемы анализа предпринимательства в странах постсоветского пространства :
Ограниченность данных государственной статистики предпринимательства
Низкий уровень готовности экспертов и предпринимателей к сотрудничеству
Пропуски в данных
Широкий круг непараметрических данных
Неоднородность данных альтернативной статистики, малые выборки

Источники данных о предпринимательстве

Статистика – позитивная наука
Она… занимается тем, "что есть",
а не тем, что "должно быть"
Кейнс
Статистика – язык экономической науки, инструмент функциональной диагностики живого экономического организма
Статистика принципиально нейтральна, независима от какой-либо этической позиции или нормативных суждений.
Конечная цель - формулирование и проверка гипотезы, которая дает правильные и значимые (т.е. не являющиеся трюизмами) предсказания относительно пока ещё не наблюдавшихся или в принципе не поддающихся наблюдению явлений

Колесо знаний Уоллеса

Этапы статистического исследования

Ограничения в оценке зависимостей

Результаты группировки повышают информационную силу статистических данных

Группировка позволяет оценить структурные закономерности в форме обобщающих показателей распределения

Измерение эффекта воздействия одного или нескольких факторов на результат

Прогноз развития ситуации

Классификация объектов и многокритериальный выбор

Кластерный анализ - разбиение множества объектов на однородные группы на основе изучения вариации классифицирующей переменной
Количество кластеров может быть известно или неизвестно заранее
Отсутствуют обучающие выборки
Разрыв пространства существования фактора может возникать также и при определенной комбинации независимых переменных
Агломеративная процедура (сначала объединяют самые близкие объекты, затем к ним присоединяют более дальние)
КА

Алгоритм кластеризации
КА

КА
Мера сходства - расстояние dij(Oi,Oj) между объектами Oi и Oj: чем меньше расстояние, тем более похожими считаются наблюдения
Евклидово расстояние
Хеммингово расстояние (городских кварталов, Манхэттэнское, путь таксиста)
Частные случаи расстояния Махаланобиса (симметричного, монотонного в призначном пространстве, минимального к самому себе)

Расстояние между кластерами
«ближайшего соседа» (одиночная связь)
«дальнего соседа» (полная связь)
между «центроидами»
по «средней связи»
КА

ДИСКРИМИНАНТНЫЙ АНАЛИЗ
Группа экспертов исследует возможность переговоров с террористами, захватившими заложников. Их интересуют те особенности ситуации, при которых возможно безопасное освобождение заложников, даже если требования террористов не выполнены. ... Дискриминантный анализ может обеспечить получение необходимых данных.
Клекка У. Р. Дискриминантный анализ
ДА

Классы – значения классифицирующей переменной (шкала не сильнее порядковой)
ДА

Назначение: изучение различий между двумя и более классами объектов по комбинации описывающих переменных → получение по обучающей выборке правил (цензов, формул) для определения групповой принадлежности объекта
ДА

Предпосылки:
ДА
Наблюдения принадлежат к двум или более классам
В каждом классе есть как минимум два объекта
Количество дискриминантных переменных не более чем (N – 2)
Дискриминантные переменные измерены в шкале интервалов или шкале отношений
Дискриминантные переменные линейно независимы
Дискриминантные переменные, измеренные в абсолютной шкале, распределены по многомерному нормальному закону распределения (каждая распределена нормально при фиксированных прочих переменных)
Ковариационные матрицы классов можно считать равными между собой

Совет: будьте внимательны при формировании обучающих выборок!
Типичная ошибка: эти выборки не содержат переменных, по которым фактически происходит классификация объектов → классификация невозможна.
Проверка: объедините классы обучающей выборки в один и попробуйте разделить их с помощью кластерного анализа. Если исходной классификации не получилось, то подбор переменных выполнен неправильно

ДА
Алгоритм анализа для k классов, объекты характеризуются р переменными (обучающие выборки Х(j), объемом ni)
Рассчитываются средние значения по каждой переменной для каждого класса
Определяются оценки ковариационных матриц для каждого класса Sj
Рассчитывается несмещенная оценка объединенной ковариационной матрицы

ДА
Алгоритм анализа для k классов, объекты характеризуются р переменными (обучающие выборки Х(j), объемом ni)
4. Рассчитываются векторы оценок коэффициентов дискриминантной функции (независимость исходных переменных!)
5. Оцениваются дискриминантные константы (собственные значения) и каноническая корреляция
6. Определяется принадлежность новых объектов к классу на основе дискриминантной функции Zj

ДА
Если необходима классификация…
Канонические дискриминантные функции (независимы, центроиды различаются):
fki — значение канонической дискриминантной функции для i-го объекта в k-м классе
uj — нестандартизованные коэффициенты дискриминантной функции
Хjki — значение дискриминантной переменной Xj для i-го объекта в классе k.
kxi минимально (лямбда Уилкса) и не превышает (k – 1) или дискриминантных переменных jmax (в зависимости от того, какая из величин меньше)

Территориальная карта

ДА
Интерпретация (дискриминация): переход к стандартизованным к-там и стандартизованным функциям
n — общее число наблюдений,
К — число классов (групп),
Wii — диагональный элемент матрицы оценки рассеивания
Вклад стандартизованного коэффициента в дискриминантную функцию пропорционален его величине

Распознавание образов: классификация без интерпретации
Основа классификации – каноническая дискриминантная функция
Критерий отнесения наблюдения к определённому классу – квадрат расстояния Махаланобиса (до центроида)
или
Для групп с разной наполненностью:

Что ещё почитать?
Миллс Ф. Статистические методы – М.:Госстатиздат. 1958
Плюта В. Сравнительный многомерный анализ в эконометрическом моделировании. - М.: ФиС. 1989
Прикладная статистика: классификация и снижение размерности: справ. изд. / Айвазян С.А., Бухштабер В.М., Енюков И.С., Мешалкин Л.Д. - М.: ФиС. 1989
Сошникова Л.А. и соавт. Многомерный статистический анализ в экономике. – М.: ЮНИТИ-ДАНА, 1999
Факторный, дискриминантный и кластерный анализ: Пер с англ. - М.: ФиС. 1989
Хейс Д. Причинный анализ в статистических исследованиях – М.: Финансы и статистика, 1981
Статистический анализ в экономике / Под ред. Громыко Г.Л.. – М.: Изд-во МГУ, 1992
Общая теория статистики: Учебник / Боярский А.Я., Ясин Е.Г. – М.: МГУ, 1977