Основы кодирования сообщений в системах связи. Никитин Г.И. - 43 стр.

UptoLike

Составители: 

Рубрика: 

41
то же количество информации будет передаваться последовательнос-
тью, составленной из равновероятных и независимых символов, т. е.
при H(x) = H
max
(x). Действительно, для данного (реального) источника
количество информации, содержащееся в последовательности из n сим-
волов, равно (2.5) J = nH(x), а для идеального J = n
min
H
max
. Приравни-
вая количества информации этих источников, получим
min
max
()/ ()
n
Hx H x
n
=
или избыточность кода источника
min min
11,
nn n
nn
χ
===
µ
(2.10)
где отношение µ = n
min
/ n получило название коэффициента сжатия,
равного относительной энтропии.
Таким образом, источник с избыточностью χ # 0 формирует последо-
вательности сообщений, число n символов, в которых больше минималь-
но необходимого n
min
для передачи данного количества информации.
Установлено, что избыточность текстов на русском и английском
языках χ 0,7, т. е. объем книги и другой печатной продукции пример-
но в 3,3 раза больше, чем это необходимо для отображения содержащей-
ся в ней информации (при χ = 0,7 значение n
min
/ n = 0,3 = 1/3,3).
Однако это не дает повод утверждать, что такая избыточность бес-
полезна. Избыточность текста обеспечивает высокую достоверность пе-
редачи информации, позволяет легко находить опечатки и исправлять
ошибки. В частности, получатель телеграммы догадывается об ее под-
линном содержании даже при нескольких ошибочно переданных бук-
вах. Отметим, что именно необходимость разговаривать при воздействии
акустических помех явилась причиной того, что все национальные языки
в процессе своего возникновения и развития оказались избыточными,
и значение избыточности для всех языков близко к χ = 0,7 – 0,9 [5].
В технических приложениях естественную избыточность источни-
ков трудно использовать для повышения помехоустойчивости систем
связи. Лишние символы в последовательности сообщений часто неже-
лательны, так как увеличивают время передачи информации, а при ее
хранении требуют дополнительной памяти в запоминающих устройствах.
Вопросам устранения избыточности сообщений уделяется большое вни-
мание, и с этой целью осуществляют статистическое (эффективное)
кодирование дискретных сообщений, в частности, применяют коды
Шеннона–Фано и Хафмена.