Лекции по теории информации. Фурсов В.А. - 45 стр.

UptoLike

ВУЗ: 

СГАУ | Самара

Составители: 

Рубрика: 

45
Лекция 5
Меры неопределенности непрерывных случайных величин
5.1 Понятие дифференциальной энтропии
Перейдем к рассмотрению источников информации, выходные сигналы
которых являются непрерывной случайной величиной. Множество возможных
состояний такого источника составляет континуум, а вероятность любого кон-
кретного значения равна 0, что делает невозможным применение, например,
меры (4.5). Построим меры неопределенности таких источников, опираясь на
введенные ранее меры для дискретных ансамблей.
Мы можем приближенно оценить неопределенность выбора какого-либо
значения непрерывной случайной величины по формуле (4.5), если ограничим
диапазон ее допустимых значений и разобьем этот диапазон, например, на рав-
ные интервалы, вероятность попадания в каждый из которых отлична от нуля и
определяется как
*
P
i i i
z Z z z p z z
.
Здесь
*
p z
– ордината плотности распределения
p z
непрерывной случай-
ной величины при значении
*
i
z
, принадлежащем интервалу
,
i i
z z z
.
Заменяя в (4.5)
i
p z
его приближенным значением
*
i
p z z
имеем
* *
2
1
* * *
2 2
1 1
log
log log .
N
i i
i
N N
i i i
i i
H Z p z z p z z
p z p z z z p z z
(5.1)
Далее осуществим предельный переход при
0
z
. При этом сумма переходит
в интеграл,
z dz
, а
*
1
( ) 1
N
i
i
p z z
. С учетом того, что в общем случае диа-
пазон изменения непрерывной случайной величины
;
 
, получаем:
2 2
0
log lim log
z
H Z p z p z dz z


. (5.2)

Страницы