ВУЗ:
Составители:
3
1. ОЦЕНКА ЭНТРОПИЙНЫХ ХАРАКТЕРИСТИК
1.1. Основные сведения
1.1.1. Дискретные случайные величины
Вероятностная мера неопределенности Шеннона или энтропия дис-
кретной случайной величины имеет вид
∑∑
==
−==
N
1i
iai
N
1i
i
ai
)x(Plog)x(P
)x(P
1
log)x(P)X(H , (1.1)
где
)x(P
i
− вероятность появления i-го значения x
i
случайной величины X;
i
i
a
H
)x(P
1
log = − мера неопределенности i-го значения; знак минус понимает-
ся как наличие "беспорядка" для величины X.
Формулу (1.1) можно записать в компактном виде
H(X)=M[-log
2
P(x)],
где log
2
P(x) − дискретная случайная величина, для которой i-е значение
log
2
P(x
i
) имеет вероятность P(x
i
).
Энтропия максимальна, когда значения случайной величины равноверо-
ятны
N
1
P)x(P)x(P)x(P
N21
===== K .
Тогда
HX
NN
N
i
N
() log log=− =
=
∑
11
1
22
, (1.2)
где
log
2
N − мера Хартли.
В этом случае статистическая мера Шеннона совпадает с комбинаторной ме-
рой Хартли.
Энтропия системы дискретных случайных величин X и Y
∑∑
==
−=
n
1i
m
1j
ji2ji
)y,x(Plog)y,x(P)Y,X(H , (1.3)
где
)y,x(P
ji
− вероятность совместного появления i-го и j-го значений слу-
чайных величин X и Y, или в форме математического ожидания
)]Y,X(Plog[)Y,X(H
2
−
Μ
=
,
где log
2
P(X,Y) − случайная величина, принимающая значения согласно матри-
це совместного распределения, и для которой значение log
2
P(x
i
,y
j
) имеет веро-
ятность P(x
i
,y
j
).
