Лекции по теории информации. Фурсов В.А. - 85 стр.

UptoLike

ВУЗ: 

СГАУ | Самара

Составители: 

Рубрика: 

85
Лекция 10
Введение в теорию помехоустойчивого кодирования
10.1 Теорема Шеннона о кодировании для канала с помехами
Теоретической основой помехоустойчивого кодирования является сле-
дующая теорема (Шеннона):
1) при любой производительности источника меньшей, чем пропускная спо-
собность канала, существует способ кодирования, который позволяет
обеспечить передачу всей информации от источника со сколь угодно малой
вероятностью ошибки;
2) не существует способа кодирования, позволяющего вести передачу ин-
формации со сколь угодно малой вероятностью ошибки, если производи-
тельность источника больше пропускной способности канала.
Доказательство. Пусть источник генерирует типичные (разрешенные) по-
следовательности большой длительности
T
, с числом символов
и
N T
, где
и
– среднее время формирования одного символа. Тогда справедливо неравен-
ство (7.1), а число типичных последовательностей в соответствии с (9.2)
2 2
и
T
H Z
NH Z
T
N Z
. (10.1)
Если предположить, что последовательности формируются из символов
алфавита объемом
m
так, что символы статистически независимы, то общее
число возможных последовательностей длительности
T
, которые могут быть в
принципе сформированы на входе канала
2
2
log
log
2 2
k
T
m
N mN
N Z m
, (10.2)
где
k
– среднее время передачи одного символа по каналу связи.
Пусть выполняется условие первой части теоремы – пропускная способ-
ность канала больше производительности источника:
д и
C I Z H Z
. (10.3)
В соответствии с (8.6) пропускная способность дискретного канала

Страницы