Непрерывно-стохастические модели

УЧЕБНЫЕ ВОПРОСЫ:
1. Марковские случайные процессы с дискретными состояниями и непрерывным временем.
2. Предельные вероятности состояний.

Вопрос 1.
Марковские случайные процессы
с дискретными состояниями
и непрерывным временем

Процессы в системах с дискретными состояниями, меняющимися в случайные моменты времени, называются случайными процессами с дискретными состояниями и непрерывным временем.
Рассмотрим особенности построения математических моделей данных систем.

Вместо переходных вероятностей Pij вводятся плотности вероятностей перехода λij.
Пусть система S в момент времени t находится в состоянии Si.
Рассмотрим элементарный промежуток времени ∆t, за который система может перейти в состояние Sj с вероятностью Pij.
0 t t+Δt
Δt

Плотность вероятности перехода λij описывается выражением:
(1)
где Pij(∆t) – вероятность того, что система, находившаяся в момент t в состоянии Si, за время ∆t перейдет в состояние Sj.

Из (1) следует, что при малом ∆t
Это выражение справедливо для стационарных процессов, когда вероятность перехода Pij определяется только длинной отрезка ∆t и не определяется местоположением отрезка на оси времени t.

Пусть задана модель системы S в виде размеченного графа состояний.
Рис.1. Граф исследуемой системы

Рассмотрим момент времени t.
Придадим t малое приращение ∆t и найдем P1(t+∆t) – вероятность того, что в момент времени t+∆t система будет находится в состоянии S1.

Это может произойти в двух случаях (см. рис. 1):
1) в момент t система была в состоянии S1 и за время ∆t из него не вышла;
2) в момент t система была в состоянии S3 и за время ∆t перешла в S1.

Вероятность первого случая найдем как произведение вероятности Р1(t) того, что в момент t система была в S1, на условную вероятность того, что, будучи в состоянии S1, система за время ∆t не перейдет в S2:

Вероятность второго случая равна вероятности того, что в момент t система была в S3, умноженной на условную вероятность перехода за время ∆t в состояние S1:

Применим правило сложения вероятностей:
Раскроем скобки в правой части, перенесем Р1(t) в левую и разделим обе части равенства на ∆t:

Устремим ∆t к нулю и перейдем к пределу:
Левая часть – производная функции Р1(t):
(2)

Для вероятностей остальных состояний такие уравнения получим аналогично.
Запишем их, отбросив для краткости аргумент t у функции Рi(t):

(3)

Уравнения (3) называют уравнениями Колмогорова.
Интегрирование данной системы уравнений даст нам искомые вероятности состояний как функции времени.

Начальные условия определяются исходным состоянием системы.
Например, если при t = 0 система была в состоянии Sк, то полагают:
Pk(0)=1;
Pi(0)=0 при i ≠ к.

Одно из дифференциальных уравнений в системе (3) может быть заменено на балансное алгебраическое уравнение:
так как система может находиться только в одном состоянии.

1. В левой части уравнения стоит производная вероятности состояния системы по времени.
2. В правой части стоит столько слагаемых, сколько стрелок связано с данным состоянием.
Правила составления уравнений Колмогорова

3. Каждое слагаемое равно произведению плотности вероятности перехода, записанной возле стрелки, умноженной на вероятность того состояния, из которого стрелка исходит.
4. Слагаемое имеет знак «+», если стрелка направлена в состояние, и знак «–», если стрелка исходит из него.

Вопрос 2.
Предельные вероятности состояний системы

Если:
1) число состояний системы конечно;
2) из каждого состояния можно перейти в любое другое,
то при t?∞ существуют предельные (финальные) вероятности состояний (ПВС), которые не зависят от начальных условий.

Для вычисления ПВС необходимо:
1) в системе уравнений Колмогорова положить левые части (производные вероятностей состояний) равными нулю;
2) одно из уравнений системы необходимо заменить на балансное;
3) решить полученную систему алгебраических уравнений.

Так, для графа состояний на рис. 1. ПВС существуют, т.к. из каждого состояния можно попасть в любое другое.

Приравняем левые части уравнений системы (3) нулю и перенесем туда отрицательные слагаемые:
(4)

Для решения системы (4) одно из ее уравнений заменим на балансное.
Решив ее, получим значения ПВС.