Лекции по теории информации. Фурсов В.А. - 42 стр.

UptoLike

ВУЗ: 

СГАУ | Самара

Составители: 

Рубрика: 

42
1 2
1 2
...
,
...
N
N
z z z
Z p z
p z p z p z
,
1 2
1 2
...
,
...
K
K
v v v
V p v
p v p v p v
.
Поскольку в случае зависимых элементов
,
p z v p z p v z p v p z v
, (4.12)
с использованием первого из указанных в (4.12) равенств можно записать
2
2
2
, log ,
log
log .
i j i j
ij
i i j i
i j
i j i j i
i j
H ZV p z v p z v
p z p z p v z
p z p v z p v z
(4.13)
По условию нормировки
1
j i
j
p v z
для любого
1,
i N
, поэтому первое
слагаемое в правой части является энтропией
H Z
ансамбля
,
Z p z
. Вторая
сумма (по
j
) во втором слагаемом характеризует частную неопределенность,
приходящуюся на одно состояние ансамбля
V
при условии, что реализовалось
состояние
i
z
ансамбля
Z
. Ее называют частной условной энтропией и обозна-
чают
i
z
H V
:
2
1
log
i
K
z j i j i
j
H V p v z p v z
. (4.14)
Величина
Z
H V
, получаемая усреднением частной условной энтропии по
всем элементам
i
z
:
1
i
N
Z i z
i
H V p z H V
, (4.15)
называется полной условной энтропией или просто условной энтропией. Таким
образом, (4.13) с учетом (4.14), (4.15) можно записать в виде
Z
H ZV H Z H V
. (4.16)
Используя второе равенство в (4.12), по аналогии можно записать:

Страницы