Лекции по теории информации. Фурсов В.А. - 61 стр.

UptoLike

ВУЗ: 

СГАУ | Самара

Составители: 

Рубрика: 

61
вания различных последовательностей, связанные со свойствами эргодических
последовательностей знаков, даются следующей теоремой.
7.2 Теорема о свойствах эргодических
последовательностей знаков
Как бы ни были малы числа
0
и
0
при достаточно большом
N
все
эргодические последовательности могут быть разбиты на две группы:
1. Нетипичные последовательности. Различных вариантов таких последо-
вательностей большое число, однако любая из них имеет настолько ничтожную
вероятность, что даже суммарная вероятность всех таких последовательностей
очень мала и при достаточно большом
N
меньше сколь угодно малого чис-
ла
.
2. Типичные последовательности, вероятности которых p при больших
N
одинаковы и удовлетворяют неравенству
2
1 1
log ( )H Z
N p
. (7.1)
Соотношение (7.1) называют свойством асимптотической равномерности.
Доказательство. Для эргодического источника без памяти в длинной по-
следовательности из
N
элементов алфавита объемом
m
1 2
, ,...,
m
z z z
с вероят-
ностями появления знаков
1 2
, ,...,
m
p p p
будет содержаться
1
Np
элементов
1
z
,
2
Np
элементов
2
z
и т.д. Тогда вероятность
p
появления конкретной последова-
тельности с учетом свойства независимости знаков
1 2
1 2
1
m i
m
Np Np
Np Np
m i
i
p p p p p
. (7.2)
Логарифмируя обе части равенства (7.2) получаем
2 2
1
log log
m
i i
i
p N p p
. (7.3)
Из (7.3) при
N
следует
2
1 1
log ( )
H Z
N p
, (7.4)

Страницы