Математика. Раздел 4. Теория вероятностей и математическая статистика. Тетрадь 4.2. Казанцев Э.Ф. - 41 стр.

UptoLike

ВУЗ: 

МУМ | Москва

Составители: 

Рубрика: 

Пол ная ве ро ят ность воз вра ще ния ко гда-ли бо в j-состояние:
P f f
j
t
j
= =
=
¥
å
1
— это воз вра ще ние в со стоя ние
s
j
; t — чис ло ша гов.
4.4.3 Урав не ние Чеп ме на–Кол мо го ро ва
До сих пор мы рас смат ри ва ли од но род ные мар ков ские про цес сы,
то есть про цес сы, для ко то рых пе ре ход ные ве ро ят но сти не зависят от
времени.
Пе рей дем к бо лее об ще му слу чаю, ко гда ве ро ят но сти пе ре хо да за -
ви сят от вре ме ни. По-преж не му бу дем рас смат ри вать дис крет ные цепи
Маркова.
Обо зна чим ве ро ят ность пе ре хо да сис те мы из со стоя ния
s
i
на m-м
ша ге в со стоя ние
s
j
на n-м ша ге
( )n m>
че рез
p m n
ij
( , )
.
Ес ли сис те ма из
s
i
пе ре хо дит
s
j
, то в не ко то рый про ме жу точ ный
мо мент q она на хо ди лась в не ко то ром про ме жу точ ном со стоя нии
s
K
.
Все тра ек то рии мо гут про хо дить че рез раз лич ные про ме жу точ ные со -
стоя ния, но не ко то рые промежуточные состояния могут и совпадать.
Но обя за тель но тра ек то рия в мо мент q прой дет че рез од но про ме -
жу точ ное со стоя ние. Та ким об ра зом, ве ро ят ность
p m n
ij
( , )
равна:
p m n p m q p q n
ij iK
K
Kj
( , ) ( , ) ( , )=
å
(4.4.2)
Эти урав не ния на зы ва ют ся урав не ния ми Чеп ме на– Кол мо го ро ва
для дис крет ных цепей Маркова.
Ес ли цепь Мар ко ва од но род на, то
p m n p
ij i j
n m
( , )
,
( )
=
-
, и урав не ния
(4.4.2) пе ре хо дят в урав не ния (4.4.1).
Урав не ния (4.4.2) оз на ча ют, что
( )n m-
ша гов мо гут быть про из -
воль ным об ра зом раз би ты на
( )q m-
и
( )n q-
ша гов и при этом для вы чис -
ле ния
p m n
ij
( , )
на до взять все воз мож ные про из ве де ния ве ро ят но стей
из мно же ст ва пе ре ход ных ве ро ят но стей за
( )q m-
ша гов на ве ро ят но сти
из мно же ст ва пе ре ход ных ве ро ят но стей за ос таль ные
( )n q-
ша гов, а за -
тем про сум ми ро вать эти про из ве де ния по всем про ме жу точ ным со стоя -
ни ям, воз мож ным в мо мент q.
При этом до пус ка ют ся про из воль ные раз бие ния вре мен но го ин -
тер ва ла, что да ет мно го чис лен ные при иму ще ст ва в дальнейшем.
За пи шем урав не ние (4.4.2) в мат рич ном ви де. В од но род ной це пи
Мар ко ва мат ри ца
r
P
со стоя ла из ве ро ят но стей
p
ij
, не за ви ся щих от
времени.
41
      Полная вероятность возвращения когда-либо в j-состояние:
           ¥
      P = å f j = f j — это возвращение в состояние s j ; t — число шагов.
           t =1



      4.4.3 Уравнение Чепмена–Колмогорова

      До сих пор мы рассматривали однородные марковские процессы,
то есть процессы, для которых переходные вероятности не зависят от
времени.
      Перейдем к более общему случаю, когда вероятности перехода за-
висят от времени. По-прежнему будем рассматривать дискретные цепи
Маркова.
      Обозначим вероятность перехода системы из состояния s i на m-м
шаге в состояние s j на n-м шаге (n > m) через pij (m, n).
      Если система из s i переходит s j , то в некоторый промежуточный
момент q она находилась в некотором промежуточном состоянии s K .
Все траектории могут проходить через различные промежуточные со-
стояния, но некоторые промежуточные состояния могут и совпадать.
      Но обязательно траектория в момент q пройдет через одно проме-
жуточное состояние. Таким образом, вероятность pij (m, n) равна:
      pij (m, n) = å piK (m,q) pKj (q, n)                            (4.4.2)
                  K
      Эти уравнения называются уравнениями Чепмена–Колмогорова
для дискретных цепей Маркова.
      Если цепь Маркова однородна, то pij (m, n) = pi(,nj- m ) , и уравнения
(4.4.2) переходят в уравнения (4.4.1).
       Уравнения (4.4.2) означают, что (n - m) шагов могут быть произ-
вольным образом разбиты на (q - m) и (n - q) шагов и при этом для вычис-
ления pij (m, n) надо взять все возможные произведения вероятностей
из множества переходных вероятностей за (q - m) шагов на вероятности
из множества переходных вероятностей за остальные (n - q) шагов, а за-
тем просуммировать эти произведения по всем промежуточным состоя-
ниям, возможным в момент q.
       При этом допускаются произвольные разбиения временного ин-
тервала, что дает многочисленные приимущества в дальнейшем.
       Запишем уравrнение (4.4.2) в матричном виде. В однородной цепи
Маркова матрица P состояла из вероятностей pij , не зависящих от
времени.
                                                                         41

Страницы