Сборник примеров и задач по теории информации: Руководство для практических занятий на базе Mathcad 6.0 Plus. Кавчук С.В. - 33 стр.

UptoLike

Составители: 

33
I( ),yx ln
.
1
.
σ
ξ
.
2
π
exp
()yx
2
.
2
σ
ξ
2
.
1
.
σ
y
.
2
π
exp
y
2
.
2
σ
y
2
;
=I( ),
.
2 volt
.
2 volt 13.448 bit.
После преобразований можно получить
I( ),yx ln
σ
y
σ
ξ
y
2
.
2
σ
y
2
x
2
.
2
σ
ξ
2
.
yx
σ
ξ
2
y
2
.
2
σ
ξ
2
.
Усреднение этого частного количества взаимной информации по множе-
ству реализаций дает полную взаимную информацию I(Y,X)=M[I(y,x)], полу-
чаемую при регистрации процесса Y(t) о полезном процессе X(t). Здесь M
знак математического ожидания.
Раскрывая знак математического ожидания, имеем
I
YX
,
σ
x
σ
ξ
d
yd
x
.
q
2
(),yx I( ),yx
.
Интегрирование дает
I
YX
,
σ
x
σ
ξ
.
1
2
..
2ln
σ
ξ
σ
y
2
..
2ln
σ
y
σ
y
2
σ
y
2
σ
ξ
2
σ
x
2
σ
y
2
;
I
YX
,
σ
x
σ
ξ
.
1
2
..
2
σ
y
2
ln
σ
y
σ
ξ
σ
y
2
σ
ξ
2
σ
x
2
σ
y
2
.
Таким образом, полное количество информации в сигнале Y(t) о сигнале
X(t) будет
I
YX
ln
σ
y
σ
ξ
1
2
σ
ξ
2
.
2
σ
y
2
σ
x
2
.
2
σ
y
2
и составляет
=I
YX
2.35 bit
.
Выполнив подстановку
σ
x
2
σ
ξ
2
вместо
σ
y
2
, полученное выраже-
ние для I(Y,X) можно упростить