Лекции по теории информации. Фурсов В.А. - 43 стр.

UptoLike

ВУЗ: 

СГАУ | Самара

Составители: 

Рубрика: 

43
V
H ZV H V H Z
. (4.17)
Можно также показать, что в случае объединения любого числа множеств
{
...
ZVW
} с зависимыми элементами имеет место равенство
Z ZV
H ZVW H Z H V H W
.
Подчеркнем, что условная энтропия всегда меньше или равна безусловной:
,
V
H Z H Z
Z
H V H V
. (4.18)
Справедливость неравенств (4.18) интуитивно понятна: неопределенность вы-
бора элемента из некоторого множества может только уменьшиться, если из-
вестен элемент другого множества, с элементами которого существует взаимо-
связь. Из (4.16)–(4.18), в частности, следует
H ZV H Z H V
. (4.19)
Полезно дать геометрическую интерпретацию соотношений (4.16)–(4.19).
На рис. 4.2 наглядно показаны различия, которые имеют место при вычислении
энтропии объединенного множества в случае независимых (а) и зависимых (б)
элементов.
а)
H Z
H V
б)
H Z
Z
H V
H ZV H Z H Z
Z
H ZV H Z H V
Рис. 4.2 – Иллюстрация формирования энтропии объединенных ансамблей
Часто имеет место другой тип связи, а именно: статистическая зависимость
между элементами последовательности. Если имеет место связь только между
двумя соседними элементами последовательности, она характеризуется услов-
ной вероятностью
/
i j
p z z
. Последовательность элементов, обладающую ука-
занным свойством, называют односвязной цепью Маркова. Связь каждого эле-

Страницы