Лекции по теории информации. Фурсов В.А. - 62 стр.

UptoLike

ВУЗ: 

СГАУ | Самара

Составители: 

Рубрика: 

62
что доказывает вторую часть теоремы.
Заметим, что это утверждение можно объяснить с несколько иных пози-
ций. Поскольку по предположению источник выдает только эргодические по-
следовательности, при
N
вероятности появления знаков в них будут соот-
ветствовать типичным для этих последовательностей значениям, следователь-
но, вероятности
p
появления этих последовательностей будут одинаковы. Об-
щее число этих (типичных) последовательностей будет равным соответственно
1/
p
. Частная неопределенность каждой такой последовательности в соответст-
вии с (4.4), (4.6)
2 2
log log 1
p p
, а неопределенность в среднем на один знак
этой последовательности будет равна
2
log 1 /
p N
, но эта величина по опреде-
лению и является энтропией.
Покажем теперь, что при достаточно большом
N
типичные последова-
тельности составляют незначительную долю от общего числа возможных вари-
антов различных последовательностей.
Общее число возможных вариантов последовательностей
1
n
, которое мо-
жет быть сформировано из знаков алфавита объема
m
(с использованием ос-
новного логарифмического тождества) можно представить в виде
2 2
log log
1
2 2
N
m N m
N
n m .
С другой стороны, в соответствии с (7.4) число типичных последовательностей
определяется как
1
2
NH Z
T
n
p
.
Запишем их отношение:
2
2
log
[log ]
1
2
2
2
N m
N m H Z
NH Z
T
n
n
.
В разделе 4.3 мы установили, что максимум энтропии
2
log
H Z m
имеет
место лишь в случае, когда знаки равновероятны. Это означает, что, если ис-
ключить случай равновероятного выбора элементов сообщений, в показателе
степени двойки
2
( ) log
H Z m
и, следовательно, при
N
1
T
n n

.

Страницы