Лекции по теории информации. Фурсов В.А. - 80 стр.

UptoLike

ВУЗ: 

СГАУ | Самара

Составители: 

Рубрика: 

80
3
z
1/8 001
4
z
1/16 0001
5
z
1/32 00001
6
z
1/64 000001
7
z
1/128 0000001
8
z
1/128 0000000
Совпадение результатов связано с тем, что вероятности знаков являются
целочисленными отрицательными степенями двойки. В общем случае
( )
ср
l H z
.
Если величина среднего числа символов на знак оказывается значительно
большей, чем энтропия, то это говорит об избыточности кода. Эту избыточ-
ность можно устранить, если перейти к кодированию блоками. Рассмотрим
простой пример кодирования двумя знаками
1 2
,
z z
с вероятностями их появле-
ния в сообщениях 0,1 и 0,9 соответственно.
Если один из этих знаков кодировать, например, нулем, а другой единицей,
т.е. по одному символу на знак, имеем соответственно
0,1 1 0,9 1
ср
l
1,0,
2 2
( ) 0,1 log 0,1 0,9 log 0,9
H z
=0,47.
При переходе к кодированию блоками по два знака (таблица 9.2)
,
1
0,81 1 0,09 2 0,09 3 0,01 3 0,645
2 2
ср бл
ср
l
l .
Таблица 9.2
Блоки Вероятности Коды
1
z
1
z
0,81 1
2
z
1
z
0,09 01
1
z
2
z
0,09 001
2
z
2
z
0,01 000
Можно проверить, что при кодировании блоками по три символа среднее число
символов на знак уменьшается и оказывается равным около 0,53.

Страницы