Теория передачи сигналов на железнодорожном транспорте. Женко Л.А. - 72 стр.

UptoLike

ВУЗ: 

СамГУПС | Самара

Составители: 

Рубрика: 

72
Такая пропускная способность ДК будет реализована тогда, когда
среднее количество информации, приходящееся на символ источника тоже
максимально, например, если удельная энтропия двоичного источника
равна 1 бит/символ.
Если энтропия
i
a
H источника меньше, канал недогружен даже в том
случае, когда через него проходит
k
f
Δ
2 символов в секунду. Производи-
тельность источника
R будет меньше пропускной способности канала С.
Шеннон показал, что можно сообщения источника закодировать так,
что среднее количество информации, приходящееся на символ источника,
будет близко к максимальному. Это положение сформулировано в
теореме
Шеннона о
кодировании для каналов без помех. Если производитель-
ность источника R меньше пропускной способности канала C
k
, его со-
общения можно закодировать так, что скорость передачи может быть
как угодно близка к пропускной способности канала
.
В соответствии с определением, R
=
T
H
a
ι
,
где
∑
−=
N
i
a
i
a
i
a
PPH
1
log - эн-
тропия источника,
T
- средняя продолжительность кодовой комбинации:
∑
=
N
i
i
a
nPT
1
0
τ
, здесь
i
n - длина i-ой кодовой комбинации.
Отсюда
00
1
log
ττ
=
∑
∑
−
=
i
i
a
i
a
i
a
nP
PP
R
.
Для выполнения равенства необходимо, чтобы
i
ai
Pn log−
=
, т.е. коди-
рование нужно осуществить так, чтобы длину кодовых комбинаций сооб-
щений ставить в зависимость от количества информации, которое перено-
сится данным сообщением или от вероятности данного сообщения. Часто
встречающиеся, т.е. малоинформативные сообщения, следует кодировать
короткими комбинациями, редко встречающиеся - длинными. В этом слу-
чае в среднем все сообщения
источника будут закодированы меньшим
числом символов, чем при любом другом способе кодирования. По этой
причине данный код называется
оптимальным или эффективным, а т.к.
при его создании учитываются вероятности сообщений, он называется
статистическим и без разделительных знаков, т.к. возможно однознач-
ное декодирование, если при передаче нет ошибок за счет помех.
Алгоритм оптимального статистического кодирования предложили
Фано и Хаффмен. Методика Фано заключается в следующем:
1. Подлежащие кодированию сообщения располагают в первом
столбце в порядке убывания их вероятностей (см. табл. 3.1).
2. Сообщения разбиваются на две группы с примерно равными
сум-
марными вероятностями. Группе, имеющей большую суммарную вероят-
ность, приписывается наиболее вероятный символ кодовой комбинации,
например - 0, второй группе - 1.
3. Сообщения, входящие в каждую из групп, вновь разбиваются на две
группы с примерно равными вероятностями. И здесь, группе с большей ве-

Страницы