Теория электрической связи. Васильев К.К - 157 стр.

UptoLike

Рубрика: 

157
Из этих теорем следует, что невозможно закодировать сообщение таким
образом, чтобы средняя длина кодовых слов была меньше энтропии сообщения.
Кроме того, существует кодирование, при котором средняя длина кодового
слова незначительно отличается от энтропии источника сообщений. Среднее
число символов кода на сообщение можно уменьшить, если кодировать не каж-
дый символ сообщения, а
блоки по
n
символов из алфавита
X
. Используя ко-
дирование блоков, можно получить среднее число символов на сообщение,
сколь угодно мало отличающееся от энтропии источника, но при этом возрас-
тает сложность кодирования.
4.3.3. Показатели эффективности сжатия
Наряду с коэффициентом избыточности (4.5), часто используется коэф-
фициент сжатия источника:
(
)
()
χ
==
1
1
max
.
XH
XH
K
исж
.
Коэффициент сжатия источника показывает, во сколько раз можно
уменьшить количество двоичных символов для представления единичного
символа источника с энтропией
(
)
XH по сравнению со случаем, когда все со-
общения источника передаются равновероятно.
Например, для источника, рассмотренного в п. 4.3.1, коэффициент сжатия
()
14,1
75,1
2
75,1
4loglog
22
.
====
XH
m
K
исж
,
т.е. скорость передачи информации по каналу связи при использовании эконо-
мичного кодирования может быть в 1,14 раза больше, чем при равномерном ко-
дировании.
4.3.4. Кодирование источника дискретных сообщений методом
Шеннона-Фано
Кодирование методом ШеннонаФано рассмотрим на примере. Пусть
алфавит источника содержит шесть элементов {А, Б, В, Г, Д, Е}, появляющихся