Методы верификации прогнозных моделей

Верификация
Верификация - процедура оценки достоверности прогноза. Прогнозу присуща значительная степень неопределенности, которую необходимо измерить, прежде чем принимать управленческое решение, использовать в экономическом анализе информацию о будущем и гипотезы о перспективах развития тех или иных больших систем. Разрабатывая прогнозы, специалисты заинтересованы в повышении их надежности.

При прогнозировании могут возникать различные ошибки, наиболее существенными из которых являются следующие:
- ошибки в исходных данных;
- неправильное использование инструментария прогнозирования;
- отсутствие должной организации;
- некомплексное обоснование стратегии развития.

Приведем основные причины отклонения прогноза от реальности:
Неспособность предвидеть возможности и потребности из-за узости взгляда на объект прогнозирования и недостаточности соответствующей информации о прошлом и будущем.
Неточное предвидение процесса развития системы более высокого порядка, чем объект прогнозирования.
Неточное выявление существенных связей и взаимодействий.
Чрезмерная осторожность в оценках, заведомое занижение прогностических оценок или сверхоптимистический подход.

Некритическое отношение к авторитетным мнениям отдельных известных исследователей.
Неизбежная идеализация и упрощение при формализации анализируемой проблемы.
Искажение экономической информации в процессе ее сбора, передачи, обработки и хранения.
Сложность приведения экономических показателей к сопоставимому виду, изменения в которых возникают искусственно - из-за инфляции и изменения методик исчисления показателей.
Неполный учет качественных факторов при формализации.

Верификация прогнозов или прогнозных моделей может быть практически осуществлена следующими методами (следует отметить, что методы верификации прогнозов разработаны недостаточно):
1. Прямая верификация - получение того же значения прогноза, что и верифицируемая величина, но только другим методом прогнозирования.
2. Косвенная верификация - подтверждение прогноза ссылкой на приведенный в литературе прогноз того же объекта.
3. Консеквентная верификация - получение значения верифицируемого прогноза путем логического (или математического) выведения следствий из уже известных прогнозов.

4. Дублирующая верификация - получение значения верифицируемого прогноза из другого прогноза, явившегося ответом на тот же вопрос, но сформулированный в другом варианте.
5 Верификация методом «адвоката дьявола» осуществляется следующим образом: назначаются 2-3 оппонента - «адвокаты дьявола», перед которыми ставится задача привести аргументы и доводы в пользу того, что верифицируемый прогноз не осуществится или не реален. Верифицируемый прогноз будет истинен в том случае, если прогнозист докажет несостоятельность всех аргументов «адвоката дьявола».

6. Инверсная верификация проводится в том случае, когда имеется совокупность прогнозов объекта по годам, начиная с настоящего времени и до некоторого временного горизонта в будущем. Предположим, методом экспертных оценок получен ряд прогнозных значений какого-либо показателя для периода 2008-2015гг. Тогда, используя метод наименьших квадратов, можно найти уравнение регрессии для нахождения этих же значений динамического ряда. С помощью этого уравнения можно найти значения показателей в ретроспективном периоде (например, за 2000-2003 гг.).
Другими словами, производится инверсная экстраполяция. Сопоставляя значения прогнозов, полученные инверсной экстраполяцией с фактическими значениями объекта в эти же годы ретроспекции, можно сделать вывод о достоверности полученных прогнозов.

7. Верификация минимизацией систематических ошибок - этот метод состоит в проверке учета источников систематических ошибок в процессе разработки прогнозов. Для реализации данного метода нужно располагать классификацией источников ошибок (см. рис.).
Многие ошибки возникают в связи с трудностью учета «экстремальных» оценок, т.е. суждений, резко отличающихся от большинства, которые могут обладать большой вероятностью реализации, а также в результате ориентации на оценки традиционно мыслящего большинства.
Рис. Классификация источников ошибок.

Прогнозист в процессе работы с тем или иным методом может сам явиться источником ошибок. Если он недостаточно глубоко освоил этот метод или же не обладает практическими навыками работы с ним, неизбежны ошибки всех типов.
Учет требований полноты, достоверности и дисконтирования исходных данных дает возможность избежать многих ошибок при прогнозировании.

В качестве нерегулярных источников ошибок могут выступать различные случайные события, а также редкие единичные события типа открытий. Последовательный учет всех возможных источников ошибок увеличивает вероятность реализации верифицируемого прогноза.
Распространение уже отчетливо различимых современных тенденций на будущее - наиболее характерный источник ошибок, встречающихся при прогнозировании. Частным случаем такого подхода является необоснованная экстраполяция какой-либо тенденции за пределы ее действия.

Более частыми, чем неточная экстраполяция, являются ошибки вследствие нерепрезентативности данных, т.е. их недостаточности для цельной характеристики или лишь поверхностного соответствия объективной действительности. Искажающее действие даже небольших ошибок в исходных данных резко возрастает с увеличением масштабов прогноза, т.е. при переходе, с одной стороны, к долгосрочным прогнозам, а с другой - к прогнозам для обширных областей науки и экономики.