Лекции по теории информации. Фурсов В.А. - 47 стр.

UptoLike

ВУЗ: 

СГАУ | Самара

Составители: 

Рубрика: 

47
5.2 Понятие дифференциальной условной энтропии
Рассмотрим теперь ситуацию, когда (далее две) непрерывные случайные
величины статистически связаны. Как и ранее разобьем диапазоны допустимых
значений случайных величин на равные интервалы так, что
* *
P{ , } ( , )
i i j j i j
z Z z z v V v v p z v z v
, (5.6)
где
* *
( , )
i j
p z v
– ордината двумерной плотности распределения в точке
* *
i j
z v
,
принадлежащей прямоугольнику со сторонами
,
z v
:
*
( ,
i i i
z z z z
*
)
j j j
v v v v
. Подставляя приближенные значения вероятностей (5.6) в
формулу энтропии (4.5) получаем
* * * *
2
* * * *
2 2
( ) ( , )log ( , )
log ( , ) log ( , ) .
i j i j
i j
i j i j
i j i j
H Z,V p z v p z v z v
z p z v z v v p z v z v
С учетом того, что
* * * * *
( , ) ( ) ( / )
i j i j i
p z v p z p v z
первое слагаемое в правой час-
ти последнего равенства можно представить в виде суммы
* * * * * * * *
2 2
( )log ( ) ( / ) ( , )log ( / )
i i j i i j j i
i j i j
p z p z z p v z v p z v p v z v z
.
Далее осуществляя предельный переход при
0, 0
z v
, с учетом того,
что по условию нормировки
* *
0
0
lim ( , ) 1
i j
z
i j
v
p z v z v
,
* *
0
lim ( / ) 1
j i
v
i j
p v z v
,
*
0
lim ( ) 1
i
z
i j
p z z
,
получаем
2 2
2 2
0 0
( ) ( )log ( ) ( , )log ( / )
lim log lim log .
z v
H Z,V p z p z dz p z v p v z dzdv
z v
 
(5.7)

Страницы