Сборник примеров и задач по теории информации: Руководство для практических занятий на базе Mathcad 6.0 Plus. Кавчук С.В. - 25 стр.

UptoLike

ВУЗ: 

ТТИ ЮФУ | Таганрог

Составители: 

Рубрика: 

25
4.
Частная информация I(y
j
→ x
i
) о значении x
i
величины X, содержа-
щаяся в значении y
j
величины Y,
)xy(I)xy(I
ijij
↔=→
,
где I(y
j
↔x
i
) − частная взаимная информация двух значений (может быть как
положительной, так и отрицательной величиной),
Iy x
Px y
Px Py
Px y
Px
Py x
Py
ji
ij
ij
ij
i
ji
j
()log
(, )
()()
log
(/)
()
log
(/)
()
↔= = =
222
.
(2.7)
Виды информации для непрерывных случайных величин:
•
частная взаимная информация двух значений x и y
)y(p)x(p
)y,x(p
log)xy(I
2
=↔
; (2.8)
•
частная информация о величине X, содержащаяся в значении y величины
Y,
dx
)y(p)x(p
)y,x(p
log)y/x(p)Xy(I
2
∫
∞
∞−
=→
; (2.9)
•
полная взаимная информация, содержащаяся в X и Y,
∫∫
∞
∞−
∞
∞−
=↔ dxdy
)y(p)x(p
)y,x(p
log)y,x(p)YX(I
2
. (2.10)
2.2. Типовые примеры
Пример 2.2.1. По двоичному симметричному каналу связи с помехами
передаются два сигнала x
1
и x
2
с априорными вероятностями P(x
1
)=3/4 и
P(x
2
)=1/4. Из-за наличия помех вероятность правильного приема каждого из
сигналов уменьшается до 7/8. Требуется определить:
1) полную информацию I(X) на выходе источника сигналов;
2) взаимную частную информацию I(y
2
,x
2
) двух случайных сигналов на
выходе
и входе канала связи относительно друг друга (т.е. количество инфор-
мации о сигнале x
2
источника в сообщении y
2
приемника);
3) условную частную информацию I(x
2
/y
2
), содержащуюся в сообщении
x
2
источника при условии приема сообщения y
2
;
4) среднее количество информации I(y
2
,X) в принятом сообщении y
2
от-
носительно всех передаваемых сообщений X(x
1
,x
2
);
5) среднее количество взаимной информации I(Y,X) в сообщениях Y
приемника о сообщениях X источника;
Решение. По условию:

Страницы