Сборник примеров и задач по теории информации: Руководство для практических занятий на базе Mathcad 6.0 Plus. Кавчук С.В. - 7 стр.

UptoLike

ВУЗ: 

ТТИ ЮФУ | Таганрог

Составители: 

Рубрика: 

7
HX
X
=1
4
i
.
Px
i
=1
4
j
.
Px
x
,ij
ln Px
x
,ij
,
=HX
X
1.016 bit
.
Пример 1.2.3.
Ансамбли событий X и Y объединены, причем вероятно-
сти совместных событий определяются матрицей P
XY
совместных вероятно-
стей P(X,Y) при
ORIGIN 1:
P
XY
0.1
0.2
0.3
0.25
0
0.15
;
=P
XY
,12
0.25
Требуется определить:
а) энтропии ансамблей X и Y;
б) энтропию объединенного ансамбля;
в) условные энтропии ансамблей.
Решение. Предварительно определим единицы измерения количества эн-
тропии:
а) при натуральном логарифме (нит) −
nit ln ( )e ;
б) при двоичном логарифме (бит) −
bit
.
nit ln ( )2 .
Найдем безусловные вероятности P(x
i
) и P(y
j
) при
i..13 и j..12:
Px
i
=1
2
j
P
XY
,ij
; =Px
0.35
0.2
0.45
;
Py
j
=1
3
i
P
XY
,ij
; =Py
0.6
0.4
.
На основании (1.1) вычислим энтропии ансамблей:
H
X
i
.
Px
i
ln Px
i
;
=H
X
1.513 bit
;
H
Y
j
.
Px
j
ln Px
j
;
=H
Y
0.994 bit
.
На основании (1.3) энтропия объединенного ансамбля
H
XY
i j
.
P
XY
,ij
ln P
XY
,ij
;
=H
XY
2.228 bit
.
Так как согласно (1.4), энтропия объединения
.

Страницы