Математические модели в управлении. Заболотский В.П - 40 стр.

UptoLike

ВУЗ: 

СПб ГУАП | Санкт-Петербург

Составители: 

Рубрика: 

40
() ()
[]
()
() ()
[]
()
//
1
//
11
1
/;log;;
/;log;;
//,
n
j XYij XYij
i
mn
X i XY i j XY i j
ji
m
Xi j
j
HXy P xy P xy
HXY P x P xy P xy
HXY P x HX y
=
==
=

=−

=−

=

∑
∑∑
∑
где
H[X/y
j
]; j = 1(1)m – условная энтропия системы X относительно
состояния y
j
системы Y;
H[X/Y] – полная условная энтропия системы X относительно сис-
темы Y;
P
X/Y
(x
i
; y
j
), i = 1(1)n, j = 1(1)m – вероятность состояния x
i
системы
X при условии, что система Y находится в состоянии y
i
;
n, m – число состояний системы X и Y соответственно;
P
X
(x
i
), i = 1(1)n – вероятность состояния x
i
системы X.
Последняя формула связывает между собой условные энтропии.
Для двух систем рассматривают также совместную энтропию, оп-
ределяемую выражениями
H[X,Y] = H[X] + H[Y/X]; H[X,Y] = H[Y] + H[X/Y].
Если до получения сообщения о состоянии системы степень нео-
пределенности ее состояния, т. е. энтропия, была равна H
0
[X], а после
получения сообщения стала равна H
1
[X], то количество информации I
X
в сообщении при измерении статистическими мерами определяют как
разность энтропий системы до и после получения сообщения:
I
X
= H
0
[X]–H
1
[X].
Единицы измерения количества информации совпадают с единица-
ми измерения энтропии.
Если наблюдение ведется за системой Y, то количество информации
I
X
(Y), получаемое о системе X при наблюдении за системой Y, определя-
ется выражением
I
X
(Y) = H[X] – H[X/Y].
Можно показать, что количество информации I
X
(Y), получаемое о
системе X при наблюдении за системой Y, равно количеству информа-
ции I
Y
(X), получаемой о системе Y при наблюдении за системой X:

Страницы