Основы технической диагностики и теории надежности: Письменные лекции. Кучер В.Я. - 20 стр.

UptoLike

ВУЗ: 

СЗТУ | Санкт-Петербург

Составители: 

Рубрика: 

При выборе двоичных логарифмов в качестве единицы энтропии прини-
мается степень неопределённости системы, имеющей два возможных, равно-
вероятных состояния. Эта единица измерения называется двоичной единицей
или битом. Название бит происходит от английских слов binary digit –
двоичная единица (две начальные и конечная буквы).
Если принять при вычислении энтропии десятичные логарифмы, то в
качестве
единицы использовалась бы неопределённость системы, имеющей
10 равновероятных состояний (десятичная единица).
Пример 2.3. Вычислить энтропию системы, имеющей два равновероят-
ных состояния Р(А
1
) = Р(А
2
) = 0,5.
Решение:
Н(А) = – Р(А
1
)log
2
P(A
1
) – P(A
2
)log
2
P(A
2
) = – 0,5 log
2
0,5 – 0,5 log
2
0,5 = 1.
Часто при определении количества информации относительно системы А
получают с помощью наблюдения за другой, связанной с ней системой В.
Обычно эта вторая система (система сигналов) даёт информацию о состоя-
нии основной системы. Среднюю величину этой информации, или информа-
тивность системы В относительно системы А, можно определить из
равенства
J
A
(B) = H(A) – H(A/B). (62)
В правой части уравнения (62) содержится разность первоначальной
энтропии системы А и её энтропии после того, как стало известным состоя-
ние системы сигналов В. Так как системы А и В являются связанными, то, в
свою очередь, знание состояния системы А изменит априорную вероятность
состояний
системы В. Например, если известно, что объект находится в
неисправном состоянии, то вероятность поступления тех или иных сигналов
также изменится.
Средняя информация, содержащаяся в системе А относительно системы В
J
B
(A) = H(B) – H(B/A), (63)
тогда J
A
(B) = J
B
(A) (64)
выражает свойство взаимности информации, так как Н(А/В) = Н(АВ) – Н(В),
то J
A
(B) = H(A) + H(B) – H(AB) (65)
или
(66)
.)()lo(
)()lo()()lo()(
m
1j
ji2ji
n
1i
n
1j
j2j
n
1i
i2iA
∑∑
∑∑
==
==
+
+−−=
BAPgBAP
BPgBPAPgAPBJ
Если учесть, что
и , то
∑
=
=
m
1j
jii
)()( BAPAP
∑
=
=
n
1i
jii
)()( BAPBP
∑∑∑∑∑∑
======
+−−=
n
1i
m
1j
ji2ji
n
1i
m
1j
i2ji
n
1i
m
1j
i2jiA
)()lo()()lo()()lo()( BAPgBAPBPgBAPAPgBAPBJ
и в окончательном виде получаем симметричную формулу для информации,
которую несёт система сигналов В относительно состояния системы А
∑∑
==
=
n
1i
m
1j
ji
ji
2jiA
)()(
)(
)lo()(
BPAP
BAP
gBAPBJ . (67)
20

Страницы