Теория электрической связи. Васильев К.К - 162 стр.

UptoLike

ВУЗ: 

УлГТУ | Ульяновск

Составители: 

Рубрика: 

162
Отметим следующие свойства количества информации, передаваемой в
непрерывном канале:
()
0, ≥XYI , причем
()
0, =XYI тогда и только тогда, когда вход и выход ка-
нала статистически независимы, т.е.
()
yw
x
y
w =
⎟
⎠
⎞
⎜
⎝
⎛
;
()()
YXIXYI ,, = – свойство симметрии;
()
∞=XYI , , если помехи в канале отсутствуют, т.е.
x
y
=
, 0=n .
Можно показать, что энтропия источника неограниченно возрастает, ко-
гда его алфавит переходит от дискретного к непрерывному. Для этого разде-
лим область определения непрерывного сигнала x на отрезки x∆ (рис. 4.5), и
превратим сигнал в дискретный, положив вероятность появления
i
x , равной
()
xxw
i
∆ . Энтропия такого дискретного сигнала
() ()
()
∑
∆
∆=
∆
i
i
ix
xxw
xxwXH
1
log
.
Устремим теперь
x∆
к нулю для перехода к энтропии непрерывного сиг-
нала [6]:
() () ()
()
() ()
()
.
1
loglim
1
log
1
loglim
1
loglimlim
00
00
x
dx
xw
xwxxw
x
xw
xxwXHXH
x
i
i
x
i
i
i
x
x
x
∆
+=∆
∆
+
+∆==
→∆
∞+
∞−
→∆
→∆
∆
→∆
∫
∑
∑
Первое слагаемое
()
()
()
Xhdx
xw
xw =
∫
+∞
∞−
1
log
,
представляет собой так называемую дифференциальную энтропию сигнала
(или дифференциальную энтропию распределения
(
)
xw ). Второе слагаемое
стремится к бесконечности совершенно независимо от природы и распреде-
ления вероятностей сигнала. Таким образом, при переходе от дискретных
значений
x
к непрерывным энтропия сигнала неограниченно возрастает.
По аналогии с дискретным каналом количество информации, переданной
по непрерывному каналу можно представить в следующей форме:

Страницы