Лекции по теории информации. Фурсов В.А. - 41 стр.

UptoLike

ВУЗ: 

СГАУ | Самара

Составители: 

Рубрика: 

41
6. Энтропия объединения статистически независимых множеств равна
сумме энтропий исходных множеств. При установлении этого свойства исполь-
зуется свойство вероятностей независимых элементов:
,
i j i j
p z v p z p v
.
Поскольку при этом
2 2 2
log , log log
i j i j
имеем
2
1 1
2
1 1
2 2
1 1 1 1
1
1
, log ,
log
log log
( ).
N K
i j i j
i j
N K
i j i j
i j
N K K N
i i j j j i
i j j i
H ZV p z v p z v
p z p v p z p v
p z p z p v p v p v p z
H Z H V
(4.10)
Аналогично могут быть получены формулы для объединения любого числа не-
зависимых источников.
В заключение подчеркнем, что энтропия характеризует только среднюю
неопределенность выбора одного элемента из множества, полностью игнорируя
их содержательную сторону.
4.4 Условная энтропия и её свойства
Часто имеют место связи между элементами разных множеств или между
элементами одного множества. Пусть объединенный ансамбль
ZV
задан мат-
рицей вероятностей всех его возможных элементов
i j
z v
,
1,
i N
,
1,
j K
:
1 1 2 1 1
1 2 2 2 2
1 2
( , ) ( , ) ... ( , )
( , ) ( , ) ... ( , )
... ... ... ...
( , ) ( , ) ... ( , )
N
N
K K N K
p z v p z v p z v
p z v p z v p z v
p z v p z v p z v
. (4.11)
Суммируя вероятности по строкам и столбцам (4.11) в соответствии с (4.1)
можно определить также ансамбли
,
Z p z
и
,
V p v
:

Страницы