ВУЗ:
Составители:
Рубрика:
46
Из формулы (5.2) следует, что энтропия непрерывной случайной величины
равна бесконечности независимо от вида плотности вероятности. Этот факт,
вообще говоря, не является удивительным, так как вероятность конкретного
значения непрерывного сигнала равна 0, а множество состояний бесконечно.
Ясно, что использовать такую меру на практике не представляется возможным.
Для получения конечной характеристики информационных свойств ис-
пользуется только первое слагаемое, называемое дифференциальной энтропи-
ей:
2
log
h Z p z p z dz
. (5.3)
Термин дифференциальная энтропия связан с тем, что для ее определения в
формуле (5.3) используется дифференциальный закон распределения
p z
.
Возникает естественный вопрос: не является ли это соглашение искусственным
и не имеющим смысла.
Оказывается, что дифференциальная энтропия имеет смысл средней неоп-
ределённости выбора случайной величины с произвольным законом распреде-
ления за вычетом неопределённости случайной величины, равномерно распре-
делённой в единичном интервале.
Действительно энтропия (5.2) равномерно распределённой на интервале
случайной величины
r
Z
определяется как
2 2
0
1 1
( ) log lim log
r r
z
H Z dz z
.
При
1
2
0
( ) lim log
r r
z
H Z z
(5.4)
Сравнивая (5.2) и (5.4) нетрудно заметить, что при
r
z z
( ) ( ) ( )
r
H Z H Z h z
. (5.5)
Страницы
- « первая
- ‹ предыдущая
- …
- 44
- 45
- 46
- 47
- 48
- …
- следующая ›
- последняя »
