Экспериментальные исследования

План лекции 15
Эксперименты: определение и характерные особенности проведения
Модели эксперимента
Лабораторное и полевое тестирование

Причинно-следственная (каузальная, причинная связь):
Если наступление события Х увеличивает наступление события У, то между ними существует причинно-следственная связь
Суть причинно-следственной связи (causality)
Свидетельства наличия причинно-следственных отношений:
Соблюдение определенной временной последовательности или порядка наступления событий
Событие-причина должна предшествовать событию-следствию, между причиной и следствием должен существовать некоторый временной лаг
Причина должна быть статистически связана с эффектом
Совместная вариация (ковариация)
Отсутствие иных факторов и причин,
которые могут объяснить наступление
события-следствия
Влияние других возможных причинных
факторов устранено либо контролируется

Эксперимент – управляемый процесс изменения одной или нескольких независимых переменных (X) для измерения их влияния на одну или несколько зависимых переменных (Y) при условии исключения влияния посторонних факторов
Эксперимент (experiment)
Составляющие эксперимента:
Зависимые переменные (dependent variables) – то, что исследователь стремится объяснить
Независимые переменные (independent variables) – используются для объяснения изменений независимых переменных (переменные, которыми манипулирует исследователь, и результат от воздействия которых подлежит измерению)
Манипулирование независимой переменной определённым систематическим образом

Цели экспериментов
Установить направление и силу причинной связи между одной или несколькими независимыми переменными на зависимую
Измерить в количественном выражении степень влияния независимой переменной на зависимую
Предсказать значения зависимой переменной при разных значениях независимой переменной

Составляющие эксперимента (продолжение)
Объект тестирования
реальные или потенциальные потребители, клиенты, компании, торговые территории, чья реакция на манипулирование независимых переменных изучается
Независимые переменные
Метрические значения: уровни цен или скидок
Категориальные переменные: варианты упаковки, рекламного сообщения, порядка обслуживания покупателей и др.
Уровни значений
различные числовые значения или варианты исполнения варьируемой переменной
Зависимые переменные
Чаще всего: объем продаж или реакция потребителей (характеристики отношения, поведения, восприятия)
Наблюдаемое значение
значение зависимой переменной, полученное в процессе измерений состояния тестируемого объекта
Результат тестирования
разница между наблюдаемым значением до и после проведения эксперимента

Процесс эксперимента
2. Провести эксперимент
3. Наблюдать эффект
зарегистрировать наблюдаемое значение,
оценить результат тестирования
4. Определить, в какой мере результат тестирования может быть обусловлен предпринятым воздействием
Определить, что именно нужно узнать:
объект тестирования
зависимые и независимые переменные
тип воздействия
методы управления внешними переменными

Виды ошибок при проведении эксперимента
Случайная ошибка
увеличение размера выборки
установление достаточного периода времени между замерами результатов «до и после»
Систематическая ошибка определяется моделью эксперимента и условиями его проведения, вызываются посторонними факторами
Посторонний фактор – переменная, не поддающаяся непосредственному воздействию исследователя и искажающая результаты эксперимента
Устранение посторонних факторов или учёт степени их влияния на результаты эксперимента

Виды посторонних факторов
Сопутствующие факторы – посторонние события по отношению к объектам эксперимента, но происходящие одновременно с ним
Внешние факторы: инфляция, действия конкурента и т.п.
Внутренние факторы – изменения объекта эксперимента (маршруты покупателей, мотивация продавцов и т.п.)
Введение экспериментальной и контрольной групп и контроль постоянства условий проведения эксперимента в этих группах
Факторы тестирования
Эффект участия
Эффект обучения
Интерактивный эффект ⇒ увеличить число экспериментальных групп
Эффект имиджа ⇒ «слепое» тестирование
Факторы отбора объектов тестирования

Экспериментальная и
контрольная группы
Экспериментальная группа – совокупность объектов эксперимента, в которой исследователь манипулирует независимой переменной и измеряет наблюдаемое значение зависимой переменной
Контрольная группа – совокупность объектов наблюдения, сопоставимая с экспериментальной группой, в которой не производится никаких манипуляций с независимыми переменными
ЭГ – экспериментальная (тестируемая) группа
КГ – контрольная группа
Х – предъявление независимой переменной экспериментальной группе
Y – результат наблюдения (измерения) зависимой переменной

Экспериментальная и
контрольная группы
Экспериментальная группа – совокупность объектов эксперимента, в которой исследователь манипулирует независимой переменной и измеряет наблюдаемое значение зависимой переменной
Контрольная группа – совокупность объектов наблюдения, сопоставимая с экспериментальной группой, в которой не производится никаких манипуляций с независимыми переменными
ЭГ – экспериментальная (тестируемая) группа
КГ – контрольная группа
Х – предъявление независимой переменной экспериментальной группе
НИ – начальное измерение («before»)
КИ – конечное измерение («after»)

Модели экспериментов
Типы экспериментальных планов
Элементарный
эксперимент
Действительный эксперимент
Однократное тестирование «только после»
Предварительный и итоговый тест одной группы «до-после»
Однократный тест с двумя группами «after only with control» (статичная группа)
Псевдо-эксперимент
Статистические
Две группы «до и после»
Две группы «только после»
Четыре группы Соломона
Временные ряды
Множественные временные ряды
Латинский квадрат
Факторная модель

Модели элементарного эксперимента
Модели элементарного эксперимента просты в исполнении, рассчитаны на получение предварительных оценок и не обладают необходимой валидностью
Однократное тестирование «after-only»
ЭГ: Х КИ1
Например, тестирование рекламы: зависимая переменная (Y) – способность вспомнить рекламный ролик (Х)
Однократный тест с двумя группами «after only with control» = статичная группа (static group)
ЭГ: Х КИ1
КГ: КИ2
Х = КИ1 - КИ2
Предварительный и итоговый тест одной группы «before-after» = “One group pretest-posttest”
ЭГ: НИ1 Х КИ1

Модели реального эксперимента
Модели реального эксперимента используют случайный выбор объектов в экспериментальную и контрольную группы и большего числа групп, что позволяет учесть влияние посторонних факторов и обеспечить внутреннюю валидность (в ряде случаев - и внешнюю валидность)
Две группы «до и после» «before-after with control»
ЭГ (С): НИ1 Х КИ1
КГ (С): НИ2 КИ2
Х = (КИ1 - НИ1) - (КИ2 - НИ2)
Х=(18-15)-(12-14,5)=5,5%

Модели реального эксперимента
Модели реального эксперимента используют случайный выбор объектов в экспериментальную и контрольную группы и большего числа групп, что позволяет учесть влияние посторонних факторов и обеспечить внутреннюю валидность (в ряде случаев - и внешнюю валидность)
Две группы «до и после» «before-after with control»
ЭГ (С): НИ1 Х КИ1
КГ (С): НИ2 КИ2
факторы тестирования
сопутствующие факторы
факторы отбора

Модели реального эксперимента
Модели реального эксперимента используют случайный выбор объектов в экспериментальную и контрольную группы и большего числа групп, что позволяет учесть влияние посторонних факторов и обеспечить внутреннюю валидность (в ряде случаев - и внешнюю валидность)
Две группы «до и после» «before-after with control»
ЭГ (С): НИ1 Х КИ1
КГ (С): НИ2 КИ2
Х = (КИ1 - НИ1) - (КИ2 - НИ2)
Две группы «только после» («after only with control»)
ЭГ (С): Х КИ1
КГ (С): КИ2
Х = КИ1 - КИ2
Четыре группы Соломона (Solomon four-group)
ЭГ1 (С) НИ1 Х КИ1
КГ1 (С) НИ2 КИ2
ЭГ2 (С) Х КИ3
КГ2 (С) КИ4
Т = (КИ1 - НИ1) - (КИ3 - (НИ1 + НИ2)/2)

Модели псевдоэксперимента
Модели псевдоэксперимента отличаются более низким уровнем контроля за внешними факторами и подбором групп (неслучайная выборка)
Метод временных рядов
ЭГ НИ1 НИ2 НИ3 Х КИ1 КИ2 КИ3
Экспериментальные планы с неслучайным составлением групп
тестирование рынка, когда в качестве экспериментальной и контрольной групп используются географические области, максимально сходные по своей структуре
лабораторные эксперименты, когда в эксперименте участвует столь малое количество участников, что подбор их случайным образом ведет к значительной ошибке выборки
Simulated before-after
ЭГ1 (С) НИ1 (Х)
ЭГ2 (С) Х КИ1

Сравнительная характеристика моделей эксперимента

Модели с контролируемыми посторонними факторами
В зависимости от способа включения в модель посторонних факторов различают следующие модели эксперимента:
модель с группировкой объектов тестирования (факторная модель)
модель «латинский квадрат»

Факторная модель
Статистическая экспериментальная модель, применяемая для измерения влияния различных значений двух и больше независимых переменных, между которыми допускается взаимодействие
однофакторный план с тремя уровнями рассмотрения независимой переменной
ЭГ1 (С) Х КИ1
ЭГ2 (С) Х КИ2
ЭГ3 (С) Х КИ3
двухфакторный план
у - варианты упаковок
х - варианты рекламных объявлений

Модель латинского квадрата
Статистическая модель, позволяющая включить в эксперимент два значимых посторонних фактора и несколько уровней значения независимой переменной
Латинский квадрат – квадратная матрица, в которой каждый из уровней независимой переменной по строкам и столбцам не повторяется

Модель латинского квадрата
Независимая переменная – упаковка, уровни: три варианта упаковки (А, В, и С)
Значимые факторы:
размер торговых площадей
социально-демографическая характеристика территории, на которой расположен магазин

Модель латинского квадрата
* объем продаж в торговых точках при данном уровне варьируемого параметра и величины постороннего фактора.

Достоверность (валидность) эксперимента
Внутренняя валидность определяет, могло ли изменение зависимой величины быть вызвано другими факторами кроме независимой переменной (чистота эксперимента)
Лабораторный эксперимент
Внешняя валидность определяет возможность распространения результатов тестирования на широкий круг потребителей или только на отдельные группы, сбытовые территории, временные периоды
Полевой эксперимент

Примерная схема проведения эксперимента