Теория электрической связи. Васильев К.К - 155 стр.

UptoLike

ВУЗ: 

УлГТУ | Ульяновск

Составители: 

Рубрика: 

155
сти передачи информации или снижаются требования к пропускной способно-
сти канала. Это особенно важно в случае, когда источники сообщений имеют
большую избыточность, например, источники речевых сообщений, изображе-
ний и т.д.
Процесс кодирования с целью уменьшения избыточности источника со-
общений носит название согласования источника с каналом или сжатия источ-
ника (экономного
кодирования, энтропийного кодирования).
Избыточность (4.5) равна нулю только в том случае, когда элементы со-
общения появляются на выходе источника с равными вероятностями
()
m
xp
i
1
=
(
mi ,...,3,2,1= ) и независимо друг от друга
(
)
(
)
(
)
jiji
xpxpxxp ⋅
=
, . Если же
()
mXH
2
log< , то оказывается возможным построение кодов, имеющих меньшую
избыточность, чем источник сообщений.
Покажем это на простейшем примере.
Пусть источник имеет алфавит из четырех символов А, Б, В, Г с вероятно-
стями
()
5,0=Аp ;
()
25,0=Бp ;
()
(
)
125,0
=
=
ГpВp .
Энтропия такого источника:
() () ()
.75,1125,0log125,0125,0log125,0
25,0log25,05,0log5,0log
22
22
4
1
2
=⋅−⋅−
−⋅−⋅−=⋅−=
∑
=i
ii
xpxpXH
Для передачи по каналу будем использовать равномерное кодирование,
например,
00→А , 01→Б , 10→В , 11→Г . Тогда среднее число двоичных сим-
волов в сообщении, приходящихся на один символ источника, равно двум. По-
скольку это на 12,5% больше энтропии источника, то используемый код не яв-
ляется оптимальным.
Рассмотрим теперь неравномерный код:
0→А ; 10→Б ; 110→В ; 111→Г .
В этом случае среднее число двоичных символов, приходящихся на один сим-
вол источника в сообщении,
()
75,13125,03125,0225,015,0
4
1
=⋅+⋅+⋅+⋅=⋅=
∑
=i
iiср
nxpn .
Таким образом, среднее число двоичных символов, приходящихся на

Страницы