Лекции по теории информации. Фурсов В.А. - 54 стр.

UptoLike

ВУЗ: 

СГАУ | Самара

Составители: 

Рубрика: 

54
6.3 Среднее количество информации в любом элементе
дискретного сообщения
Априорная неопределённость в среднем на один элемент сообщения ха-
рактеризуется энтропией (4.5):
2
1
( ) ( ) log ( )
N
i
H Z p z p z
i i
, (6.4)
а апостериорная неопределенность – условной энтропией (4.15):
2
1 1
( ) ( ) / log /
K N
V j i j i j
j i
. (6.5)
В соответствии с (6.4), (6.5) по аналогии с частным количеством информа-
ции количество информации в среднем на один элемент сообщения определим
как
2 2
( , ) ( ) ( )
( )log ( ) ( ) / log / .
V
i i j i j i j
i j i
I Z V H Z H Z
p z p z p v p z v p z v
В последнем равенстве ничего не изменится, если первое слагаемое в правой
части умножить на
1
/ 1
K
j i
j
p v z
. Тогда, с учетом того, что
( ) / ( ) / ,
i j i j i j i j
i j j i ij
p z p v z p v p z v p z v
и используя свойства логарифма, формулу для количества информации в сред-
нем на один элемент сообщения можно записать в виде
2 2
/ ,
( , ) ( , )log ( , )log
( ) ( ) ( )
i j i j
i j i j
ij ij
i i j
p z v p z v
I Z V p z v p z v
p z p z p v
. (6.6)
Далее, если частный характер количества информации не будет оговариваться
специально, то всегда будет подразумеваться количество информации в сред-
нем на один элемент сообщения (6.6).

Страницы