Статистические методы и модели. Костин В.Н - 20 стр.

       В свою очередь, эргодические цепи могут быть регулярными или цик-
лическими. Циклические цепи отличаются от регулярных тем, что в процессе
переходов через определенное количество шагов (циклов) происходит воз-
врат в какое-либо состояние. Регулярные цепи этим свойством не обладают.
Если просуммировать все вышесказанные определения, то можно дать сле-
дующую классификацию марковских процессов (рисунок 1.15):


          с дискретным временем                    с непрерывным временем


         однородные                                                неоднородные

                                      Марковские
         управляемые                   процессы                    неуправляемые

        марковские цепи                                      полумарковские цепи

                           простые
                                                       сложные

               поглощающие                  эргодические


                                      регулярные            циклические




       Рисунок 1.15 – Классификация марковских процессов

     1.4.2 Переходные вероятности. Матрица перехода
       Переход системы из состояния в состояние будем рассматривать в
дискретные моменты времени.
       Система считается заданной, если заданы два условия.
       1 Заданы вероятности возможных состояний системы Pi (t ) . Вероят-
ности нахождения в этих состояниях – это доли времени нахождения в каж-
дом состоянии. Имеется вектор начальных вероятностей начального состоя-
ния системы

                          Pi (0 ) = ( P01 , P02 , ... , P0 n ) ,

       описывающий начальное состояние системы.
       2 Заданы условные вероятности переходов из состояния в состояние
за время ∆t . Это вероятность перехода Pik (∆t ) из i-го в k-ое состояние за
время ∆t (причем, чем больше ∆t , тем больше вероятность). Данные вероят-
ности переходов задаются с помощью матрицы, которая имеет следующий
вид:


                                                                                   20