Теория электрической связи. Васильев К.К - 163 стр.

UptoLike

ВУЗ: 

УлГТУ | Ульяновск

Составители: 

Рубрика: 

163
(
)()
(
)
(
)
(
)
X
Y
hYh
Y
X
hXhXYI −=−=,
,
(4.11)
где
(
)
Y
X
h
– условная дифференциальная энтропия сигнала
x
при известном
сигнале
y .
Второе равенство следует из второго свойства количества передаваемой
информации (симметрии). Полученное выражение по форме напоминает (4.7), а
дифференциальная энтропия играет здесь роль обычной энтропии дискретных
сигналов. Однако свойства дифференциальной энтропии существенно отлича-
ются от свойств обычной энтропии. Так, например,
(
)
Xh
и
(
)
Y
X
h
могут быть от-
рицательными.
Дифференциальная энтропия
(
)
Xh
уже не представляет собой среднее ко-
личество информации, выдаваемое источником сигнала (для непрерывного
сигнала оно бесконечно). Аналогично
(
)
Y
X
h
не представляет собой количество
информации, потерянной в канале, поскольку эта величина тоже бесконечна.
Поэтому дифференциальную энтропию следует понимать лишь формально, как
некоторую вспомогательную величину полезную при расчетах.
Если помеха аддитивная n
x
y += , то нетрудно показать, что
()
()
()
()
Nhdn
nw
nw
X
Y
h ==
∫
+∞
∞−
1
log
,
(4.12)
где
()
nw – ПРВ помехи;
()
Nh – дифференциальная энтропия помехи.
Подставляя (4.12) в (4.11), находим
()()
()
()
()
()
()
∫∫
+∞
∞−
+∞
∞−
−=−= dn
nw
nwdy
yw
yw
X
Y
hYhXYI
1
log
1
log,
,
(4.13)
Найдем дифференциальную энтропию гауссовской помехи с нулевым
средним и дисперсией
2
σ при отсутствии корреляции между значениями по-
мехи. Согласно (4.12),
() ()
(
)
() ()
∫∫∫
+∞
∞−
+∞
∞−
+∞
∞−
+=
⎥
⎦
⎤
⎢
⎣
⎡
⎟
⎟
⎠
⎞
⎜
⎜
⎝
⎛
⋅= dnnwn
e
dnnwdn
n
nwNh
2
2
2
2
2
2
2
log
2log
2
exp2log
σ
πσ
σ
πσ
.
Учитывая
()
1=
∫
+∞
∞−
dnnw
и
()
22
σ
=
∫
+∞
∞−
dnnwn
, получим:

Страницы