ВУЗ:
Составители:
Рубрика:
З А Н Я Т И Е 12
ЦЕПИ МАРКОВА
П р и м е р 12.1. На рис. 12.1 изображен стохастический граф цепи
Маркова, у которой все переходы, возможные из данного состояния,
происходят с одинаковой вероятностью.
1
2
3
4
5
Рис. 12.1
Требуется:
1) записать переходную матрицу;
2) провести классификацию состояний;
3) найти период существенных состояний;
4) выяснить, существует ли предельное
распределение, если цепь начинает свое дви-
жение: а) из состояния «2»; б) из «4»; в) из
состояний «4», «5»сравнымивероятностями;
5) определить общий вид инвариантного
распределения.
П р и м е р 12.2. О цепи Маркова с мно-
жеством состояний E = {1, 2, 3, 4} из-
вестно следующее: p
1,2
= p
2,3
= 1, p
3,1
= p
3,2
,
p
4,4
= 3p
4,2
, остальные вероятности перехода
равны нулю.
Существует ли стационарное распределение? Если да, то найти
его. Сколько в среднем придется ждать возвращения в первое состоя-
ние? Вычислить вероятность пребывания цепи в состояниях {1, 2} по
истечении тысячи шагов, если в начальный момент цепь находилась:
а) в первом состоянии; а) в четвертом состоянии?
П р и м е р 12.3. Рассмотрим случайное блуждание {ξ(n), n > 0},
которое определяется, как ξ(n) = ξ(n − 1) + V
n
при n > 1, где {V
n
}—
последовательность независимых величин, распределенных по закону
P{V
n
= 1} = p, P{V
n
= −1} = q (p, q — положительные числа, такие
что p + q = 1), а ξ(0) — неслучайное целое начальное значение.
ЦЕПИ МАРКОВА 45
Доказать, что {ξ(n)}— цепь Маркова с множеством состояний Z.
Найти вероятности перехода. Провести классификацию состояний.
Существует ли стационарное распределение?
0
1
2
0,5
0,5
0,8
0,5
0,2
0,25
0,25
Рис. 12.4
П р и м е р 12.4. Рассмотрим мо-
дель игры двух лиц в следующих
предположениях: A и B — начальные
капиталы первого и второго игро-
ков соответственно; игра с остоит из
партий, проводимых последователь-
но; результат новой партии не зави-
сит от предыстории игры; в каждой
партии капитал первого и грока ли-
бо увеличивается на единицу либо
уменьшается на единицу; выигрыш и проигрыш в отдельно взято й
партии равновероятны (безобидная игра); при разорении одного из
игроков игра прекращается.
Описать указанную игру с помощью марковской цепи. Найти
вероятность R
A
разорения первого игрока. Сколько в среднем будет
продолжаться игра?
Задачи для самостоятельного решения
1. Марковская цепь задана стохастическим графом (рис. 12.4).
Доказать, что существует стационарное распределение
π, и найти его.
Определить среднее время q выхода из несущественного состояния.
О т в е т.
π = (0, 2/7, 5/7); q = 2.
2. В условиях примера 12.2 а) определить распределение момен-
та Q выхода из несущественного состояния; б) найти его математи че-
ское ожидание q.
У к а з а н и е. Вычислить P{Q = n} по формуле умножения, ис-
пользуя марковское свойство.
О т в е т. P{Q = n} = (3/4)
n−1
/4, n = 1, 2, . . . , (геометрическое рас-
пределение), q = 4.
3. Случайная последовательность {ξ(n)} удовлетворяет условию:
ξ(n) равно остатку от деления числа ξ(n − 1) + V
n
на пять при
ЦЕПИ МАРКОВА 45
З А Н Я Т И Е 12
Доказать, что {ξ(n)} — цепь Маркова с множеством состояний Z.
Найти вероятности перехода. Провести классификацию состояний.
ЦЕПИ МАРКОВА Существует ли стационарное распределение?
П р и м е р 12.4. Рассмотрим мо- 0,5
дель игры двух лиц в следующих 0
предположениях: A и B — начальные
капиталы первого и второго игро- 0,25 0,25
0,5
ков соответственно; игра состоит из
партий, проводимых последователь- 0,5 1 2 0,8
П р и м е р 12.1. На рис. 12.1 изображен стохастический граф цепи но; результат новой партии не зави-
Маркова, у которой все переходы, возможные из данного состояния, сит от предыстории игры; в каждой 0,2
происходят с одинаковой вероятностью. партии капитал первого игрока ли-
бо увеличивается на единицу либо Рис. 12.4
Требуется:
уменьшается на единицу; выигрыш и проигрыш в отдельно взятой
1) записать переходную матрицу;
партии равновероятны (безобидная игра); при разорении одного из
2 2) провести классификацию состояний; игроков игра прекращается.
3) найти период существенных состояний; Описать указанную игру с помощью марковской цепи. Найти
4) выяснить, существует ли предельное вероятность RA разорения первого игрока. Сколько в среднем будет
3 1
распределение, если цепь начинает свое дви- продолжаться игра?
жение: а) из состояния «2»; б) из «4»; в) из
состояний «4», «5» с равными вероятностями;
5) определить общий вид инвариантного
распределения.
4 5 Задачи для самостоятельного решения
П р и м е р 12.2. О цепи Маркова с мно-
жеством состояний E = {1, 2, 3, 4} из-
Рис. 12.1
вестно следующее: p 1,2 = p 2,3 = 1, p 3,1 = p 3,2, 1. Марковская цепь задана стохастическим графом (рис. 12.4).
p 4,4 = 3p 4,2, остальные вероятности перехода Доказать, что существует стационарное распределение π, и найти его.
равны нулю. Определить среднее время q выхода из несущественного состояния.
Существует ли стационарное распределение? Если да, то найти О т в е т. π = (0, 2/7, 5/7); q = 2.
его. Сколько в среднем придется ждать возвращения в первое состоя- 2. В условиях примера 12.2 а) определить распределение момен-
ние? Вычислить вероятность пребывания цепи в состояниях {1, 2} по та Q выхода из несущественного состояния; б) найти его математиче-
истечении тысячи шагов, если в начальный момент цепь находилась: ское ожидание q.
а) в первом состоянии; а) в четвертом состоянии? У к а з а н и е. Вычислить P{Q = n} по формуле умножения, ис-
П р и м е р 12.3. Рассмотрим случайное блуждание {ξ(n), n > 0}, пользуя марковское свойство.
которое определяется, как ξ(n) = ξ(n − 1) + Vn при n > 1, где {Vn } — О т в е т. P{Q = n} = (3/4)n−1 /4, n = 1, 2, . . . , (геометрическое рас-
последовательность независимых величин, распределенных по закону пределение), q = 4.
P{Vn = 1} = p, P{Vn = −1} = q (p, q — положительные числа, такие 3. Случайная последовательность {ξ(n)} удовлетворяет условию:
что p + q = 1), а ξ(0) — неслучайное целое начальное значение. ξ(n) равно остатку от деления числа ξ(n − 1) + Vn на пять при
