Сборник примеров и задач по теории информации: Руководство для практических занятий на базе Mathcad 6.0 Plus. Кавчук С.В. - 27 стр.

UptoLike

ВУЗ: 

ТТИ ЮФУ | Таганрог

Составители: 

Рубрика: 

27
I
X
=1
2
i
.
Px
i
ln Px
i
;
=I
X
0.562 nit
или
=I
X
0.811 bit
.
Согласно (2.7), взаимная частная информация I(y
2
,x
2
) двух сигналов
Iyx
,22
ln
Py
x
,22
Py
2
или
Ixy
,22
ln
Px
y
,22
Px
2
;
=Iyx
,22
1.485 bit
;
=Ixy
,22
1.485 bit
.
Условная частная информация I(x
2
/y
2
)
Ix
y
,22
ln Px
y
,22
;
=Ix
y
,22
0.515 bit.
Согласно (2.5), среднее количество информации I(y
j
,X) в принятом со-
общении y
j
относительно всех передаваемых сообщений X
Iy
X
j
i
.
Px
y
,ij
ln
Px
y
,ij
Px
i
;
=Iy
X
0.22
0.643
bit;
=Iy
X
1
0.22 bit; =Iy
X
2
0.643 bit.
Согласно (2.4), среднее количество взаимной информации I(Y,X) в сооб-
щениях Y приемника относительно всех передаваемых сообщений X
I
YX
=1
2
i =1
2
j
.
Pxy
,ij
ln
Pxy
,ij
.
Px
i
Py
j
;
=I
YX
0.352 bit
.
Рассмотрим второй способ определения I(Y,X). Найдем, согласно (1.5),
условную энтропию источника при условии снятия неопределенности прием-
ника
HX
Y
i j
.
Pxy
,ij
ln Px
y
,ij
;
=HX
Y
0.459 bit
.
Тогда на основании (2.3) с учетом I(X)=H(X) среднее количество взаим-
ной информации I(Y,X) в расчете на одно сообщение
I
YX
I
X
HX
Y
;
=I
YX
0.352 bit
.
Пример 2.2.2. По каналу связи передаются с равной вероятностью
N6 кодовых комбинаций. В 40% всех случаев передачи происходит транс-
формация сигналов, причем любая комбинация может перейти в другую с

Страницы