Лекции по теории информации. Фурсов В.А. - 53 стр.

UptoLike

ВУЗ: 

СГАУ | Самара

Составители: 

Рубрика: 

53
Частное количество информации, полученное в результате того, что стал
известен элемент
j
v
, определим как разность априорной и апостериорной неоп-
ределенностей:
2 2 2
,
/
log log / log .
j
i j i v i
i j
i i j
i
I z v H z H z
p z p z v
p z
(6.3)
Таким образом, частное количество информации равно величине неопределён-
ности, которая снята в результате получения элемента сообщения
j
v
.
6.2 Свойства частного количества информации
1. Частное количество информации уменьшается с ростом априорной ве-
роятности
i
p z
, увеличивается с ростом апостериорной вероятности
/
i j
p z v
и в зависимости от соотношения между ними может быть положительным, от-
рицательным и нулевым (свойство непосредственно следует из (6.3)).
2. Если
/
i j i
p z v p z
, то в соответствии с (6.3)
, 0
i j
I z v
.
3. При отсутствии помехи частное количество информации равно частной
априорной неопределенности элемента
i
z
: ,
2
( ) ( ) log ( )
i j i i
I z v H z p z
, по-
скольку при этом
0
j
v i
H z
.
4. Частное количество информации о
i
z
, содержащееся в
j
v
, равно частно-
му количеству информации о
j
v
, содержащемуся в
i
z
. Действительно:
2 2
2 2
/ ( ) /
( , ) log log
( ) ( ) ( )
( ) / /
log log ( , ).
( ) ( ) ( )
i j j i j
i j
i j i
i j i j i
j i
i j j
p z v p v p z v
I z v
p z p v p z
p z p v z p v z
I v z
p z p v p v

Страницы