Сборник примеров и задач по теории информации: Руководство для практических занятий на базе Mathcad 6.0 Plus. Кавчук С.В. - 5 стр.

UptoLike

ВУЗ: 

ТТИ ЮФУ | Таганрог

Составители: 

Рубрика: 

5
∫∫
∞
∞−
∞
∞−
−= dxdy)y,x(plog)y,x(p)Y,X(H
2д
, (1.11)
Условная дифференциальная энтропия X относительно Y
∫∫
∞
∞−
∞
∞−
−= )y/x(plog)y,x(p)Y/X(H
2д
, (1.12)
где p(x/y) − условная плотность вероятности.
Условная дифференциальная энтропия величины X относительно значения y
величины Y
∫∫
∞
∞−
∞
∞−
−= )y/x(plog)y/x(p)y/X(H
2д
. (1.13)
1.2. Типовые примеры
Пример 1.2.1. Имеются три дискретных источника информации
X(x
1
,x
2
), Y(y
1
,y
2
,y
3
) и Z(z
1
,z
2
).
Вероятности появления сообщений P(x
i
),
P(y
i
) и P(z
i
) каждого источника
заданы при p
1
2
, q
1
3
и ORIGIN 1
(за-
дание начальных значений индексов)
векторами
Px
T
()pp , Py
T
()qqq и Pz
T
()p
.
2q .
Требуется определить, какой источник обладает большей неопределен-
ностью.
Решение. Сначала определим единицы измерения количества энтропии:
а) при натуральном логарифме (нит) −
nit ln ( )e ;
б) при двоичном логарифме (бит) −
bit
.
nit ln ( )2 .
На основании (1.1) энтропии источников:
•
первого − assume
p
H
X
=1
2
i
.
Px
i
ln Px
i
..
2pln( )p
и составит
=H
X
1 bit
;
•
второго − assume
q
H
Y
=1
3
i
.
Py
i
ln Py
i
..
3qln( )q
и составит
=H
Y
1.585 bit
;
•
третьего − assume
,p
q

Страницы