Обработка и анализ результатов моделирования

Решения, принимаемые по результатам имитационного моделирования могут быть конструктивными только при выполнении двух основных условий:
- полученные результаты обладают требуемой точностью и достоверностью;
- исследователь способен правильно интерпретировать полученные результаты и знает, каким образом они могут быть использованы.
Возможность выполнения первого условия закладывается, в основном, еще на этапе разработки модели и частично – на этапе планирования эксперимента.

Достоверность результатов моделирования предполагает, что модель, с помощью которой они получены, не только является «правильной», но отвечает некоторым дополнительным требованиям, предъявляемым к имитационным моделям. Способность исследователя правильно интерпретировать полученные результаты и принимать на их основе важные решения существенно зависит от степени соответствия формы представления результатов целям моделирования.
Если разработчик модели уверен, что полученные результаты будут использоваться в соответствии с одной, четко определенной целью, форма их представления может быть определена заранее. В этом случае преобразование экспериментальных данных к требуемому виду может производиться либо в ходе эксперимента, либо сразу после его завершения. Такой подход позволяет экономить память компьютера, необходимую для хранения большого количества необработанных данных, а также сохранить время на анализ результатов и принятие решения.

Оценка качества имитационной модели
Оценка качества модели является завершающим этапом ее разработки и преследует две цели:
- проверить соответствие модели ее предназначению (целям исследования);
- оценить достоверность и статистические характеристики результатов, полученные при проведении модельных экспериментов.
При аналитическом моделировании достоверность результатов определяется двумя основными факторами:
корректным выбором математического аппарата, используемого для описания исследуемой системы
методической ошибкой, присущей данному математическому методу.

Факторы, влияющие на достоверность
При имитационном моделировании на достоверность результатов влияет целый ряд дополнительных факторов, основными из которых являются:
- моделирование случайных факторов, основанное на использовании датчиков случайных чисел, которые могут вносить «искажения» в поведение модели;
- наличие нестационарного режима работы модели;
- использование нескольких разнотипных математических методов в рамках одной модели;
- зависимость результатов моделирования от плана эксперимента;
- необходимость синхронизации работы отдельных компонент модели;
- наличие модели рабочей нагрузки, качество которой, в свою очередь, зависит от тех же факторов.

Целевые свойства имитационной модели
Пригодность имитационной модели для решения задач исследования характеризуется тем, в какой степени она обладает так называемыми целевыми свойствами.
Основными из них являются:
- адекватность;
- устойчивость;
- чувствительность

Оценка адекватности
Под адекватностью понимают степень соответствия модели реальному явлению или объекту, для описания которого она строится.
Вместе с тем, создаваемая модель ориентирована, как правило, на исследование определенного подмножества свойств этого объекта. Поэтому можно считать, что адекватность модели определяется степенью ее соответствия не столько реальному объекту, сколько целям исследования.

Обоснование адекватности разработанной модели
Один из наиболее распространенных способов такого обоснования – использование методов математической статистики. Суть этих методов заключается в проверке выдвинутой гипотезы на основе некоторых статистических критериев. Процедура оценки основана на сравнении измерений на реальной модели и результатов экспериментов на модели и может проводиться различными способами.
Наиболее распространенные из них:
- по средним значениям откликов модели и системы;
- по дисперсиям отклонений откликов модели от среднего значения откликов системы;
- по максимальному значению относительных отклонений откликов модели от откликов системы.

Оценка по средним значениям откликов модели и системы
При этом способе проверяется гипотеза близости среднего значения наблюдаемой переменной Y среднему значению отклика реальной системы Y*.
В результате N0 опытов на реальной системе получают множество значений (выборку) Y*.
Выполнив Nm экспериментов на модели, также получают множество значений наблюдаемой переменной Y.
Вычисляются оценки математического ожидания и дисперсии откликов модели и системы, после чего выдвигается гипотеза о близости средних значений величин Y* и Y (в статистическом смысле). Основой для проверки является t-статистика (распределение Стьюдента). Её значение, вычисленное по результатам испытаний, сравнивается с критическом значением tкр, взятым из справочной таблицы.
Если выполняется неравенство tn < tкр, то гипотеза принимается.
Статистические методы применимы только в том случае, если оценивается адекватность модели существующей системе.

Оценка устойчивости
При оценке адекватности модели как существующей, так и проектируемой системы реально может быть использовано лишь ограниченное подмножество всех возможных значений входных параметров (рабочей нагрузки и внешней среды). В связи с этим для обоснования достоверности получаемых результатов моделирования большое значение имеет проверка устойчивости модели.
Устойчивость модели – это её способность сохранять адекватность при исследовании эффективности системы на всем возможном диапазоне рабочей нагрузки, а также при внесении изменений в конфигурацию системы.
В общем случае можно утверждать, что чем ближе структура модели структуре системы и чем выше степень детализации, тем устойчивее модель.
Устойчивость результатов моделирования можно также оценить методами математической статистики. Основная задача математической статистики заключается в том, чтобы проверить гипотезу относительно свойств некоторого множества элементов, называемого генеральной совокупностью, оценивая свойства какого-либо подмножества генеральной совокупности (то есть выборки). В генеральной совокупности исследователя обычно интересует некоторый признак, который обусловлен случайностью и может иметь качественный или количественный характер.

Критерий Уилкоксона
Для проверки гипотезы об устойчивости результатов может быть использован критерий Уилкоксона, который служит для проверки того, относятся ли две выборки к одной и той же генеральной совокупности, то есть, обладают ли они одним и тем же статистическим признаком. Например, в двух партиях некоторой продукции измеряется определенный признак. Требуется проверить гипотезу о том, что этот признак имеет в обеих партиях одинаковое распределение. Другими словами, необходимо убедиться, что технологический процесс от партии к партии изменяется несущественно.
При статистической оценки устойчивости модели соответствующая гипотеза может быть сформулирована следующим образом: при изменении входной (рабочей) нагрузки или структуры ИМ закон распределения результатов моделирования остается неизменным.
При статистической оценки устойчивости модели соответствующая гипотеза может быть сформулирована следующим образом: при изменении входной (рабочей) нагрузки или структуры ИМ закон распределения результатов моделирования остается неизменным.

Проверку указанной гипотезы Н проводят при следующих исходных данных.
Пусть имеются две выборки
Х = (х1, ..., хn) и Y = (y1, ..., ym),
полученные для различных значений рабочей нагрузки; относительно законов распределения Х и Y никаких предположений не делается.
Значения обеих выборок упорядочиваются по возрастанию.
Затем анализируется взаимное расположение хi и yj. В случае yj < хi говорят, что пара значений (хi, yj) образует инверсию.
Например, пусть для n = m = 3 после упорядочивания получилась такая последовательность значений:
y1, х1, y3, х2, y2, х3;
тогда имеем инверсии (х1, y1), (х2, y1), (х2, y3), (х3, y1); (х3, y2); (х3, y3).
Подсчитывают полное число инверсий U. Если гипотеза верна, то U не должно сильно отклоняться от своего математического ожидания М:
.
От гипотезы отказываются, если |U-М| < Uкр
(Uкр определяют по таблице для заданного уровня значимости).

Оценка чувствительности
Очевидно, что устойчивость является положительным свойством модели. Однако, если изменение входных воздействий или параметров модели (в некотором заданном диапазоне) не отражается на значениях выходных параметров, то польза от такой модели невелика (ее можно назвать «бесчувственной»). В связи с этим возникает задача оценивания чувствительности модели к изменению параметров рабочей нагрузки и внутренних параметров самой системы.
Такую оценку проводят по каждому параметру X в отдельности. Основана она на том, что обычно диапазон возможных изменений параметра известен.
Одна из наиболее простых и распространенных процедур оценивания состоит в следующем:

Процедура оценивания чувстительности

Калибровка модели
Если в результате проведенной оценки качества модели оказалось, что ее целевые свойства не удовлетворяют разработчика, необходимо выполнить ее калибровку, то есть коррекцию с целью приведения в соответствие предъявляемым требованиям.
Как правило процесс калибровки носит итеративный характер и состоит из трех основных этапов:
- глобальные изменения модели (например, введение новых процессов, изменение типов событий и т. д.);
- локальные изменения (в частности, изменение некоторых законов распределения моделируемых случайных величин);
- изменение специальных параметров, называемых калибровочными.
Вообще целесообразно объединить оценку целевых свойств ИМ и ее калибровку в единый процесс. Именно такая стратегия принята в статистическом методе калибровки, описанном ниже.