Лекции по теории информации. Фурсов В.А. - 49 стр.

UptoLike

ВУЗ: 

СГАУ | Самара

Составители: 

Рубрика: 

49
5.3 Свойства дифференциальной энтропии
Дифференциальная энтропия в отличие от энтропии дискретного источни-
ка является относительной мерой неопределенности, т.к. её значения зависят от
масштаба непрерывной величины. Действительно, предположим, что непре-
рывная случайная величина
Z
изменилась в
k
раз. Поскольку всегда должно
выполняться условие нормировки:
( ) ( ) ( ) 1
p kz d kz k p kz dz
 
 
,
имеет место следующее соотношение для плотностей исходной и масштабиро-
ванной величин
p z
p kz
k
. (5.11)
С учетом (5.11) в соответствии с (5.3) имеем
2
2 2
2 2 2
( ) ( ) log ( ) ( )
( ) log ( ) log
( )log ( ) log ( ) ( ) log .
h kZ p kz p kz d kz
p z p z k dz
p z p z dz k p z dz h Z k




 
 
(5.12)
Из (5.12) следует, что из-за выбора различных
k
дифференциальная энтропия
может принимать положительные, отрицательные и нулевые значения.
Дифференциальная энтропия не зависит от параметра сдвига
Const
,
т.е.
h Z h Z
. Действительно, используя замену
V Z
, при которой
пределы интегрирования не изменяются, а
dz dv
имеем:
2
2
( ) ( )log ( )
( )log ( ) .
h Z p z p z dz
p v p v dv h V




 
(5.13)

Страницы