Лекции по теории информации. Фурсов В.А. - 56 стр.

UptoLike

ВУЗ: 

СГАУ | Самара

Составители: 

Рубрика: 

56
Для соответствующих заданной двумерной плотности
,
p z v
одномерных
плотностей
i
,
j
p v
, по аналогии с тем как мы поступали при получении
соотношения для дифференциальной энтропии, можно записать
*
P
i i i
z Z z z p z z
,
*
P
j j j
v V v v p v v
,
где
*
i
p z
,
*
j
p v
– ординаты одномерных плотностей для значений
*
i
z
и
*
j
v
,
взятых в интервалах
,
i i
z z z
и
,
i i
v v v
соответственно.
Заменяя в (6.6)
,
i j
p z v
,
i
,
j
p v
их приближенными значениями
* *
,
i j
p z v z v
,
*
i
p z z
,
*
j
p v v
соответственно, можно записать
* *
* *
2
* *
( , )
( , ) ( , ) log
( ) ( )
i j
i j
i j
i j
p z v
I Z V p z v z v
p z p v
. (6.7)
Осуществляя в (6.7) предельный переход при
0
z
,
0
v
получаем:
*
*
2
* *
0
0
2
( , )
( , ) lim ( , )log
( ) ( )
( , )
( , )log .
( ) ( )
i j
i j
z
i j
i j
v
p z v
I Z V p z v z v
p z p v
p z v
p z v dzdv
p z p v
 
(6.8)
Формула (6.8) может быть получена также с использования понятия диф-
ференциальной энтропии. Действительно по аналогии с дискретным случаем
определим количество информации как разность априорной и апостериорной (в
данном случае дифференциальной) энтропии:
2 2
( , ) ( ) ( )
( )log ( ) ( , )log / .
v
I Z V h Z h Z
p z p z dz p z v p z v dzdv
  
(6.9)
В (6.9) ничего не изменится, если первое слагаемое в правой части умно-
жить на
( / ) 1
p v z dv

. Тогда, с учетом того, что
( , ) ( ) ( / )
p z v p v p z v
( ) ( / )
p z p v z
, соотношение (6.9) можно переписать в следующем виде:

Страницы