Лекции по теории информации. Фурсов В.А. - 78 стр.

UptoLike

ВУЗ: 

СГАУ | Самара

Составители: 

Рубрика: 

78
Справедливость теоремы покажем, опираясь на свойство асимптотической рав-
номерности.
Пусть количество знаков в последовательности равно N, а энтропия источ-
ника
H Z
. Предположим также, что длина сообщения
T
велика и все сооб-
щения являются типичными. Тогда для этих последовательностей выполняется
неравенство (7.1):
1 1
log ( )H Z
N p
,
,
а число типичных последовательностей
1
T
N p
в соответствии с ним будет
2 2 2
и
T
H Z
NH Z TI Z
T
N
. (9.2)
Здесь предполагается, что средняя длительность знака
и
известна, поэтому
и
N T
и по определению
и
I Z H Z
.
Предположим, что кодирование осуществляется с использованием алфави-
та объемом
m
. Тогда с учетом того, что пропускная способность дискретного
канала
2
log
д к
C m
, число последовательностей длительности
T
(с числом
знаков
к
N T
), пропускаемых каналом, определится как:
2
2
log
log
2 2 2
k k k
д
T T m
m T
TC
N
k
N m m
. (9.3)
Сравнивая (9.2) и (9.3) нетрудно заметить, что если ( )
д
I Z C
, то имеет ме-
сто неравенство
k T
N N
. Это означает, что число последовательностей, про-
пускаемых каналом, достаточно, чтобы закодировать все типичные последова-
тельности знаков. Вероятность появления нетипичных последовательностей
при
N
стремится к 0, что и доказывает первую часть теоремы.
Справедливость второй части теоремы, указывающей на невозможность
осуществить передачу при ( )
д
I Z C
, следует из определения пропускной спо-
собности канала, как максимально достижимой скорости передачи информа-
ции. Поэтому в данном случае неизбежно накопление на передающей стороне.

Страницы