Сборник примеров и задач по теории информации: Руководство для практических занятий на базе Mathcad 6.0 Plus. Кавчук С.В. - 24 стр.

UptoLike

ВУЗ: 

ТТИ ЮФУ | Таганрог

Составители: 

Рубрика: 

24
Ответ. Средняя неопределенность результата измерения определяется
дифференциальной энтропией погрешности Hд
Δ
, которая при.шаге квантова-
ния
ε
.
1m
V
будет
Hд
Δ
ln
.
2e
.
λε
;
=Hд
Δ
3.443 bit
.
2. ОЦЕНКА КОЛИЧЕСТВА ИНФОРМАЦИИ
2.1. Основные сведения
В общем случае количество информации I, получаемое в результате экс-
перимента, определяется как мера уменьшения неопределенности, а именно
I=H-H
0
, (2.1)
где H – неопределенность (энтропия) до проведения эксперимента; H
0
–
неопределенность после проведения эксперимента (остаточная).
Для дискретных случайных величин различают 4 вида информации.
1.
Полная информация I(X) о величине X при непосредственном ее
наблюдении
I(X)=H(X)=M[-log
2
P(X)] ≥0. (2.2)
Это
средняя информация, получаемая от всех возможных значений X в рас-
чете на одно значение.
2.
Полное количество информации I(Y→X) о величине X, содержащее-
ся в величине Y,
I(Y→X)=H(X)-H(X/Y);
(2.3)
I(Y→X)=I(X→Y)=I(Y↔X)≥0,
где I(Y↔X) −
полная взаимная информация, содержащаяся в X и Y,
IX Y Px y
Px y
Px Py
ij
ij
ij
j
m
i
n
() (,)log
(, )
()()
↔=
==
∑∑
2
11
. (2.4)
3.
Частная информация I(y
i
→X)≥0 о величине X, содержащаяся в зна-
чении y
i
величины Y,
Iy X Px y
Px y
Px
jij
ij
i
i
n
()(/)log
(, )
()
→=
=
∑
2
1
(2.5)
или, учитывая равенство
Px y
Px y
Py
ij
ij
j
(/)
(, )
()
= ,
Iy X
Px y
Py
Px y
Px Py
j
ij
j
ij
ij
i
n
()
(, )
()
log
(, )
()()
→=
=
∑
2
1
. (2.6)

Страницы