Лекции по теории информации. Фурсов В.А. - 50 стр.

UptoLike

ВУЗ: 

СГАУ | Самара

Составители: 

Рубрика: 

50
5.4 Распределения, обладающие максимальной
дифференциальной энтропией
Сформулируем следующую задачу. Определить плотность
( )
p z
, обеспечи-
вающую максимальное значение функционала
2
( ) ( )log ( )
h Z p z p z dz
, (5.14)
при ограничении
( ) 1
. (5.15)
Функция Лагранжа в указанной (изопериметрической) задаче имеет вид
2
( , ) ( )log ( ) ( )
F p p z p z p z
, (5.16)
где
, в данном случае постоянный, неопределенный множитель Лагранжа.
Необходимые условия экстремума (5.16) даются соотношением
2 2
( , )
log ( ) log 0
F p
p z e
p
. (5.17)
Искомая плотность
( ) 1 ,p z z
получается в результате совме-
стного решения (5.15), (5.17). Это означает, что если единственным ограниче-
нием для случайной величины является область возможных значений:
,
Z
, то максимальной дифференциальной энтропией обладает равномер-
ное распределение вероятностей в этой области.
Снимем теперь ограничение на область возможных значений, но добавим
ограничение на величину дисперсии:
2
( ) ( )log ( )h Z p z p z dz
мах

, (5.18)
при
( ) 1
p z dz

, (5.19)
2 2
( )z p z dz

. (5.20)

Страницы