Лекции по теории информации. Фурсов В.А. - 57 стр.

UptoLike

ВУЗ: 

СГАУ | Самара

Составители: 

Рубрика: 

57
2
( , )
( , ) ( ) ( ) ( , )log
( ) ( )
v
p z v
I Z V h Z h Z p z v dzdv
p z p v
 
. (6.10)
Поскольку
( , )
I Z V
в (6.10) определяется как разность
( ) ( )
v
h Z h Z
, количе-
ство информации при передаче от непрерывного источника, в отличие от диф-
ференциальной энтропии, уже не зависит от масштаба случайной величины.
Заметим, что соотношение между понятиями энтропии и количества информа-
ции для непрерывного источника информации подобно соотношению между
потенциалом, определяемым как работа по перенесению заряда из бесконечно-
сти в данную точку поля, и напряжением, определяемым как разность потен-
циалов, которое рассматривается в физике.
6.6 Эпсилон-энтропия случайной величины
В этом разделе мы вернемся к рассмотрению понятия энтропии непрерыв-
ной случайной величины, воспользовавшись для этого теперь уже известным
нам понятием количества информации.
В разделе 5.1 мы показали, что энтропия непрерывной случайной величины
бесконечна, вследствие того, что реализации могут отличаться на сколь угодно
малые величины. В действительности на практике, с одной стороны, нет воз-
можности фиксировать сколь угодно малые отличия реализаций вследствие по-
грешности измерительной аппаратуры, с другой стороны, это обычно и не тре-
буется. Поэтому разумной представляется идея: судить о непрерывной случай-
ной величине
Z
по значениям другой статистически связанной с ней случайной
величины
V
, если мера их различия не превышает заданной верности воспро-
изведения.
Для количественной оценки степени сходства вводят функцию
( , )
z v
,
имеющую смысл «расстояния» между реализациями, а в качестве меры сходст-
ва – ее среднее значение по всему множеству значений
z
и
v
:
( , ) ( , ) ( , )
Z V p z v z v dzdv
 
. (6.11)

Страницы