Оценка точности прогнозов

Эмпирической мерой точности прогноза, служит величина его ошибки, которая определяется как разность между прогнозным ( ) и фактическими (уt) значениями исследуемого показателя.

Данный подход возможен только в двух случаях:
а) период упреждения известен, уже закончился, и исследователь располагает необходимыми фактическими значениями прогнозируемого показателя;
б) строится ретроспективный прогноз, то есть рассчитываются прогнозные значения показателя для периода времени, за который уже имеются фактические значения.
Это делается с целью проверки разработанной методики прогнозирования.

Все показатели оценки точности статистических прогнозов условно можно разделить на три группы:
– аналитические;
– сравнительные;
– качественные.

Аналитические показатели точности прогноза позволяют количественно определить величину ошибки прогноза. К ним относятся:

Абсолютная ошибка прогноза (D*)
- определяется как разность между эмпирическими и прогнозными значениями признака и вычисляется по формуле:
где:
уt–фактическое значение признака;
–прогнозное значение признака.

Относительная ошибка прогноза (d*отн)
может быть определена как отношение абсолютной ошибки прогноза (D*):
к фактическому значению признака (уt ) :
к прогнозному значению признака

Абсолютная и относительная ошибки прогноза являются оценкой проверки точности единичного прогноза, что снижает их значимость в оценке точности всей прогнозной модели, так как изучаемое социально-экономическое явление подвержено влиянию различных факторов внешнего и внутреннего свойства. Единично удовлетворительный прогноз может быть получен и на базе реализации слабо обусловленной и недостаточно адекватной прогнозной модели и наоборот – можно получить большую ошибку прогноза по достаточно хорошо аппроксимирующей модели.

Поэтому на практике иногда определяют не ошибку прогноза, а некоторый коэффициент качества прогноза (Кк), который показывает соотношение между числом совпавших (с) и общим числом совпавших (с) и несовпавших (н) прогнозов и определяется по формуле:

Значение Кк = 1 означает, что имеет место полное совпадение значений прогнозных и фактических значений и модель на 100% описывает изучаемое явление. Данный показатель оценивает удовлетворительный вес совпавших прогнозных значений в целом по временному ряду и изменяется в пределах от 0 до 1.
Следовательно, оценку точности получаемых прогнозных моделей целесообразно проводить по совокупности сопоставлений прогнозных и фактических значений изучаемых признаков.

Средним показателем точности прогноза
- является средняя абсолютная ошибка прогноза ( ), которая определяется как средняя арифметическая простая из абсолютных ошибок прогноза по формуле вида:

где:
n–длина временного ряда.
Средняя абсолютная ошибка прогноза показывает обобщенную характеристику степени отклонения фактических и прогнозных значений признака и имеет ту же размерность, что и размерность изучаемого признака.

Для оценки точности прогноза используется средняя квадратическая ошибка прогноза, определяемая по формуле:

Размерность средней квадратической ошибки прогноза также соответствует размерности изучаемого признака. Между средней абсолютной и средней квадратической ошибками прогноза существует следующее примерное соотношение:

Недостатками средней абсолютной и средней квадратической ошибок прогноза является их существенная зависимость от масштаба измерения уровней изучаемых социально-экономических явлений. Поэтому на практике в качестве характеристики точности прогноза определяют среднюю ошибку аппроксимации, которая выражается в процентах относительно фактических значений признака, и определяется по формуле вида:

В качестве сравнительного показателя точности прогноза используется коэффициент корреляции между прогнозными и фактическими значениями признака, который определяется по формуле:

Г де:– средний уровень ряда динамики прогнозных оценок.

Одним из показателей оценки точности статистических прогнозов является коэффициент несоответствия (КН), который был предложен Г. Тейлом и может рассчитываться в различных модификациях:
1. Коэффициент несоответствия (КН1), определяемый как отношение средней квадратической ошибки к квадрату фактических значений признака:

КН = 0, если , то есть полное совпадение фактических и прогнозных значений признака.

КН = 1, если при прогнозировании получают среднюю квадратическую ошибку адекватную по величине ошибке, полученной одним из простейших методов экстраполяции неизменности абсолютных цепных приростов.
КН > 1, когда прогноз дает худшие результаты, чем предположение о неизменности исследуемого явления. Верхней границы коэффициент несоответствия не имеет.

2.Коэффициент несоответствия (КН2)
определяется как отношение средней квадратической ошибки прогноза к сумме квадратов отклонений фактических значений признака от среднего уровня исходного временного ряда за весь рассматриваемый период.
Где: –средний уровень исходного ряда динамики.

3.Коэффициент несоответствия (КН3), определяемый как отношение средней квадратической ошибки прогноза к сумме квадратов отклонений фактических значений признака от теоретических, выравненных по уравнению тренда:
где: –теоретические уровни временного ряда, полученные по модели тренда.

Оценка точности прогноза, построенного методом экстраполяции
Существует несколько способов оценки точности прогноза: 1. Cредняя абсолютная оценка:
2. Cредняяквадратическая оценка:

3. Cредняя относительная ошибка:

Верификация.
Процедура проверки, оценки истинности прогноза не эмпирическим путем носит название «верификации прогноза» (валидность прогноза). По логике их проведения различают следующие разновидности верификации прогнозов :
Прямая
Косвенная
Инверсная
Консеквентная
Дублирующая
Оппонентная

3 способа оценки точности прогноза и выбора оптимальной модели
1. Оценить отношение фактических продаж к прогнозу;
2. Расчет показателя точность прогноза — оценка на сколько точно выбранная модель описывает анализируемые данные;
3. Графический анализ — строим график и визуально оцениваем адекватность модели прогноза относительно фактических продаж за последний период ;

1-й способ — Расчет отношения фактических продаж к прогнозу.
Сначала рассчитываем прогноз разными способами и оцениваем отношение фактических продаж к прогнозу. ВАЖНО протестировать модели не по одному товару или направлению продаж, а сразу взять 10 и более товарных позиций или направлений продаж и рассчитать прогноз по ним на минимум на 3 периода вперед (количество периодов и направления прогноза зависят от ваших задач.Если задача - сделать точный прогноз на 6 месяцев, то рассчитываем прогноз на 6 месяцев несколькими вариантами и оцениваем отношение факта к прогнозу по сумме полугода).

Рассчитаем прогноз 4 способами на полгода. Протестируем следующие модели:
Линейный тренд + сезонность
Логарифмический тренд + сезонность
Скользящая средняя с сезонностью к 2-м месяцам
Скользящая ясредняя с сезонностью к 3-м месяцам
Для каждой из 4-х прогнозных моделей :

Суммируем прогноз по каждой модели за 6 месяцев;

Суммируем фактические продажи, которые мы будем сравнивать с прогнозом;

Рассчитываем отношение факта к прогнозу по каждой позиции для каждой модели;

Рассчитываем по каждой модели среднее отношение факта к прогнозу;

Выбираем модель прогноза, которая по показателю "среднее отношение факта к прогнозу" оказалась максимально приближена к 100%

! Для наших данных самой точной моделью оказалась скользящая средняя к 3-м месяцам с сезонностью, среднее отклонение факта от прогноза 97%.
! Мы протестировали каждую модель прогноза на реальных данных и выбрали для себя оптимальную, которая в среднем показала минимальное отклонение от фактических продаж

2-й способ оценки модели прогноза — расчет показателя точность прогноза.
Показатель точность прогноза показывает, на сколько точно выбранная модель прогноза описывает данные. Идея в том, чем точнее выбранная модель описывает фактические данные, тем точнее она сделает прогноз.
Как рассчитать точность прогноза? Рассмотрим на примере расчета для модели прогноза с линейным трендом и сезонностью.

Рассчитываем значения прогнозной модели для каждого анализируемого момента времени в прошлом

Рассчитываем ошибку прогнозной модели. Для этого за каждый период от фактических значений вычитаем значения прогнозной модели.

Рассчитываем квадратическое отклонение ошибки от значений прогнозной

Рассчитываем среднее значение квадратического отклонения, т.е. среднеквадратическое отклонение

Точность прогноза = (1- среднеквадратическое отклонение ошибки прогнозной модели)*100

Показатель точности прогноза выражается в процентах:
Если точность прогноза равна 100%, то выбранная модель описывает фактические значения на 100%, т.е. очень точно.
Если 0% или отрицательное число, то совсем не описывает, и данной модели доверять не стоит.

3. Способ оценки прогнозной модели — визуальный.
На график выводим анализируемые данные, тренд, значение модели и прогноз (см. вложенный файл). Обычно визуально видно, какая модель адекватнее строит прогноз . 3-й способ по своей сути схож с 1-м и вторым, только мы верим не цифрам, а тому что мы видим на графике.

Линейная модель:

Логарифмическая модель: