Лекции по теории информации. Фурсов В.А. - 86 стр.

UptoLike

ВУЗ: 

СГАУ | Самара

Составители: 

Рубрика: 

86
( )
2
( )
max
log
( , )
max
V
p z
V
д
p z
k k k
H Z H Z
m H Z
I Z V
С
. (10.4)
Подставляя правую часть (10.4) в левую часть неравенства (10.3) имеем
2
log ( ) ( )
V
к и
m H Z H Z
.
Ничего не изменится, если умножить обе части последнего равенства на
T
:
2
log ( ) ( )
V
к и
T T
m H Z H Z
. (10.5)
Поскольку условная энтропия
( ) 0
V
H Z
, при ее отбрасывании неравенст-
во (10.5) только усилится:
2
log ( )
к и
T T
m H Z
 .
Нетрудно заметить, что левая и правая части последнего неравенства суть пока-
затели степени в (10.1) и (10.2), следовательно, в силу свойства степеней
2
( )
log
2 2
ик
TT
H Z
m

,
откуда следует
T
N Z N Z
 . (10.6)
Это означает, что существует
T
N Z
N Z
C различных способов кодирования, по-
зволяющих каждой типичной последовательности поставить в соответствие по-
следовательность из множества
N Z
. При равновероятном выборе последова-
тельностей из этого множества вероятность
p
того, что данная последователь-
ность окажется разрешенной
2
2
( )
log
log ( )
( ) 2 1
( )
2
2
и
к
к и
H Z
T
T
m
m H Z
T
T
N Z
p
N Z
. (10.7)
При получении на выходе канала конкретной последовательности
v
оста-
ется неопределенность относительно переданной последовательности
z
, свя-

Страницы