Сборник примеров и задач по теории информации: Руководство для практических занятий на базе Mathcad 6.0 Plus. Кавчук С.В. - 4 стр.

UptoLike

ВУЗ: 

ТТИ ЮФУ | Таганрог

Составители: 

Рубрика: 

4
Энтропия системы зависимых величин
HXY HX HY X(, ) () ( / )=
+
или HXY HY HX Y(, ) () ( / )=
+
, (1.4)
где H(X)
− безусловная энтропия величины Х;
H(Y)
− безусловная энтропия величины Y;
H(Y/X)
− условная энтропия величины Y относительно величины Х;
H(X/Y)
− условная энтропия величины X относительно Y.
Для независимых величин
HX Y HX(/) ()= и HY X HY(/) ()
=
.
Условная энтропия X относительно Y
)]Y/X(Plog[M)y/x(Plog)y,x(P)Y/X(H
2
ij
ji2ji
−=−=
∑
∑
, (1.5)
где P(x
i
/y
j
) − вероятность значения x
i
величины X при условии, что величина Y
приняла значение y
j
(условная вероятность).
Условная энтропия величины X относительно значения y
j
величины Y
∑
∑
−=
ij
ji2jij
)y/x(Plog)y/x(P)y/X(H
. (1.6)
Условная энтропия Y относительно X
∑∑
−=
ij
ij2ji
)x/y(Plog)y,x(P)X/Y(H . (1.7)
1.1.2. Непрерывные случайные величины
Энтропия непрерывной случайной величины
xlogdx)x(plog)x(p)X(H
22
Δ−−=
∫
∞
∞−
, (1.8)
где p(x) − плотность вероятности случайной величины X;
x
Δ
− шаг ее кванто-
вания, определяющий точность перехода от непрерывной величины к дис-
кретной.
При Δx=1 имеем
дифференциальную или относительную энтропию
∫
∞
∞−
−= dx)x(plog)x(p)X(H
2д
. (1.9)
Энтропия системы непрерывных случайных величин X и Y
yxlogdxdy)y,x(plog)y,x(p)Y,X(H
22
ΔΔ−−=
∫∫
∞
∞−
∞
∞−
, (1.10)
где p(x,y) − совместная (безусловная) плотность вероятности двух случайных
величин X и Y.
Дифференциальная энтропия системы двух случайных величин

Страницы