ВУЗ:
Составители:
Рубрика:
46 ЦЕПИ МАРКОВА [З. 12
n > 1, где ξ(0) ∈ {0, 1, 2, 3, 4}, {V
n
}— независимые величины, такие
что P{V
n
= ±1} = 1/2. Найти ин вариантное распределение. Будет ли
оно стационарным? Вычислить предельную вероятность
P := lim
n→∞
P{ξ(n) 6= 4 | ξ(n + 1) 6= 0},
если а) π(0) — равномерное распределение; б) π(0) = (1, 0, 0, 0, 0).
О т в е т. Стационарное распределение существует и совпадает
с равномерным; P = 7/8 при любом π(0).
4. В условиях примера 12.2 при ξ(0) = 1 найти: а) распределение
момента возвращения τ
1
; б) вероятность возвращения не ранее, чем
за пять шагов; в) среднее время возвращения µ
1
, сравнив его с полу-
ченным в примере 12.2.
О т в е т. а) P{τ
1
= 2m + 1} = (1/2)
m
, m = 1, 2, . . . ; б) P{τ
1
> 5} =
= 1/2; в) µ
1
= 5.
0
1
2
N
−
2
N
−
1
N
q
p p
p
p
p
p
q
q
q
qq
···
Рис. 12.5
5. Марковская цепь задана стохастическим графом (рис. 12.5), где
0 < p < 1, q = 1 − p. Доказать, что существует стационарное распре-
деление
π, и найти его.
О т в е т. Если p 6= q, то
π
x
=
a
x
(1 − a)
1 − a
N+1
, x = 0, 1, . . . , N, где a := p/q;
если p = q, то
π
x
= 1/(N + 1).
6. Доказать, что последовательность ξ(n) = max(ξ(n − 1) + V
n
, 0)
образует положительную бесконечную цепь Маркова, если {V
n
}—
независимые величины такие, что V
n
∈ {−1, 1} и P{V
n
= −1} > 1/2.
У к а з а н и е . Если τ, τ
N
— моменты первого возвращения в 0 для
{ξ(n)} и цепи, указанной в задаче 5, то lim
N→∞
τ
N
= τ и sup
N
M τ
N
< ∞.
7. Рассматривая пример 12.4 в предположении, что p — вероят-
ность выигрыша первого игрока, определить вероятность R
A
его ра-
зорения. В каком случае R
A
можно сделать сколь угодно малой за
счет выбора начального капитала A?
О т в е т. R
A
=
α
A
− α
A+B
1 − α
A+B
, если α := (1 −p)/p 6= 1; lim
A→∞
R
A
= 0 при
ЦЕПИ МАРКОВА 47
p > 1/2 и lim
A→∞
R
A
= 1 − (1/α)
B
> 0 при p < 1/2.
8. Через фиксированные промежутки времени проводится кон-
троль технического состояния прибора, который может находиться
в одном из трех состояний: «1» (работает); «2» (неисправен и ожидает
ремонта); «3» (ремонтируется). Известно, что ремонт производится
только после поломки. Вероятность того, что за период между про-
верками прибор останется в том же состоянии, равна: 0,8, если он
был и справен; 0,1, если ожидал ремонта; 0,3, если ремонтировал-
ся. Считая, что состояние прибора описывается марковской цепью,
записать ее переходную матрицу. В стационарном режиме найти:
а) вероятность пребывания прибора в рабочем состоянии; б) среднее
время возвращения в неисправное состояние.
О т в е т. а)
π
1
= 63/95 ≈ 0,6632; б) µ
2
= 95/14 ≈ 6,786;
P =
"
0,8 0,2 0
0 0,1 0,9
0,7 0 0,3
#
.
46 ЦЕПИ МАРКОВА [З. 12 ЦЕПИ МАРКОВА 47
n > 1, где ξ(0) ∈ {0, 1, 2, 3, 4}, {Vn } — независимые величины, такие p > 1/2 и lim RA = 1 − (1/α)B > 0 при p < 1/2.
A→∞
что P{Vn = ±1} = 1/2. Найти инвариантное распределение. Будет ли
оно стационарным? Вычислить предельную вероятность 8. Через фиксированные промежутки времени проводится кон-
троль технического состояния прибора, который может находиться
P := lim P{ξ(n) 6= 4 | ξ(n + 1) 6= 0}, в одном из трех состояний: «1» (работает); «2» (неисправен и ожидает
n→∞
ремонта); «3» (ремонтируется). Известно, что ремонт производится
если а) π(0) — равномерное распределение; б) π(0) = (1, 0, 0, 0, 0). только после поломки. Вероятность того, что за период между про-
О т в е т. Стационарное распределение существует и совпадает верками прибор останется в том же состоянии, равна: 0,8, если он
с равномерным; P = 7/8 при любом π(0). был исправен; 0,1, если ожидал ремонта; 0,3, если ремонтировал-
4. В условиях примера 12.2 при ξ(0) = 1 найти: а) распределение ся. Считая, что состояние прибора описывается марковской цепью,
момента возвращения τ1 ; б) вероятность возвращения не ранее, чем записать ее переходную матрицу. В стационарном режиме найти:
за пять шагов; в) среднее время возвращения µ1 , сравнив его с полу- а) вероятность пребывания прибора в рабочем состоянии; б) среднее
ченным в примере 12.2. время возвращения в неисправное состояние.
О т в е т. а) P{τ1 = 2m + 1} = (1/2)m , m = 1, 2, . . . ; б) P{τ1 > 5} = О т в е т. а) π 1 = 63/95 ≈ 0,6632; б) µ2 = 95/14 ≈ 6,786;
= 1/2; в) µ1 = 5. " #
0,8 0,2 0
p p p p p P= 0 0,1 0,9 .
0,7 0 0,3
q 0 1 2 ··· N−2 N−1 N p
q q q q q
Рис. 12.5
5. Марковская цепь задана стохастическим графом (рис. 12.5), где
0 < p < 1, q = 1 − p. Доказать, что существует стационарное распре-
деление π, и найти его.
ax (1 − a)
О т в е т. Если p 6= q, то π x = , x = 0, 1, . . . , N , где a := p/q;
1 − aN +1
если p = q, то π x = 1/(N + 1).
6. Доказать, что последовательность ξ(n) = max(ξ(n − 1) + Vn , 0)
образует положительную бесконечную цепь Маркова, если {Vn } —
независимые величины такие, что Vn ∈ {−1, 1} и P{Vn = −1} > 1/2.
У к а з а н и е. Если τ , τ N — моменты первого возвращения в 0 для
{ξ(n)} и цепи, указанной в задаче 5, то lim τ N = τ и sup Mτ N < ∞.
N →∞ N
7. Рассматривая пример 12.4 в предположении, что p — вероят-
ность выигрыша первого игрока, определить вероятность RA его ра-
зорения. В каком случае RA можно сделать сколь угодно малой за
счет выбора начального капитала A?
αA − αA+B
О т в е т. RA = , если α := (1 − p)/p 6= 1; lim RA = 0 при
1 − αA+B A→∞
