Составители:
Рубрика:
39
Пример
Решить предыдущий пример при условии одинаковой вероятности
появления каждого из пяти знаков: p (x
i
) = 1/m = 0,2.
Решение:
22
1
( ) ( )log ( ) 5 0,2log 0,2 2,32бит/знак.
m
ii
i
Hx px px
=
=− =− ∗ =
∑
Отметим, что это значение H(x) соответствует H
max
(x).
При наличии кодера источника, в свою очередь, представляющего
каждую из m букв алфавита источника кодовой группой из n
k
символов
(разрядов), определяют удельную энтропию H
1
(x), приходящуюся на один
разряд кодовой группы:
1
()
() ,
k
Hx
Hx
n
=
(2.7)
где n
k
– длина кодовой группы (слова), а в обозначении удельной энт-
ропии H
1
(x) индексом 1 подчеркивается, что энтропия отнесена к одно-
му разряду кодовой группы, а не к знаку источника сообщения.
Пример
Определить максимальные значения энтропии H
max
(x), H
1max
(x), H
1
(x)
для первичного пятиразрядного (n
К
= 5) кода МТК-2, если известно,
что с учетом неравновероятности появления m = 32 буквенных знаков
текста энтропия источника сообщений H(x) = 4,36 бит/знак.
Решение:
В соответствии с (2.6) и (2.7) H
max
(x) = log32 = 5 бит/знак;
max
1max
()
() 5/5 1бит/разряд;
k
Hx
Hx
n
===
H
1
(x) = 4,36/5 = 0,87 бит/разряд.
Это означает, что кодер источника (рис. 2.1) выдает разряды сообще-
ния при кодировании буквенного алфавита источника первичным ко-
дом МТК-2 с "недогрузкой" в информационном смысле на 13% по срав-
нению с потенциальными возможностями.
В теории информации доказывается, что энтропия источника зави-
симых сообщений всегда меньше энтропии источника независимых со-
общений при том же объеме алфавита и тех же безусловных вероятно-
стях сообщений.
Страницы
- « первая
- ‹ предыдущая
- …
- 39
- 40
- 41
- 42
- 43
- …
- следующая ›
- последняя »
