Сборник примеров и задач по теории информации: Руководство для практических занятий на базе Mathcad 6.0 Plus. Кавчук С.В. - 18 стр.

UptoLike

ВУЗ: 

ТТИ ЮФУ | Таганрог

Составители: 

Рубрика: 

18
X(x
1
,x
2
,x
3
), Y(y
1
,y
2
) и Z(z
1
,z
2
).
Вероятности появления их сообщений P(x
i
),
P(y
i
) и P(z
i
) заданы при
ORIGIN 1 векторами
Px
T
1
5
4
15
8
15
,
Py
T
Px
1
Px
2
Px
3
и
Pz
T
Px
2
Px
2
Px
3
Px
3
Px
2
Px
3
.
Вычислить среднюю неопределенность каждого источника и установить
связь между их энтропиями.
Ответ. Средняя неопределенность источников:
=H
X
1.457 bit
;
=H
Y
0.722 bit
;
=H
Z
0.918 bit
.
Связь между энтропиями источников определяется выражением
H
X
H
Y
.
Px
2
Px
3
H
Z
.
Задача 1.3.2. Предварительно определим единицу измерения энтропии
как
nit ln ( )e . При этом один bit
.
nit ln ( )2 . Элементы алфавитов X и Y
статистически связаны. Известно, что энтропии
H( )X
.
8 bit и
H( )Y
.
12 bit. В каких пределах меняется условная энтропия H(Y/X) при
изменении H(X/Y) в максимально возможных пределах.
Ответ. Условная энтропия H(Y/X) меняется в пределах от 4 до 12 бит.
Задача 1.3.3. Предварительно определим единицу измерения энтропии
как
nit ln ( )e . При этом один bit
.
nit ln ( )2 . Дискретный источник ин-
формации X имеет энтропию
H
X
.
16 bit
, а источник Y − энтропию
H
Y
.
8 bit
. Найти условную энтропию H(X/Y), если условная энтропия
H(Y/X)=
HY
X
.
4 bit
.
Ответ. Условная энтропия
=HX
Y
12 bit
.
Задача 1.3.4. Дана при i..13, j..13 и ORIGIN 1 матрица со-
вместных вероятностей
Pxy
1
8
1
8
1
8
1
8
0
1
8
1
8
1
8
1
8
, например элемент (2,2) матрицы
=Pxy
,22
0
.

Страницы