Сборник примеров и задач по теории информации: Руководство для практических занятий на базе Mathcad 6.0 Plus. Кавчук С.В. - 28 стр.

UptoLike

ВУЗ: 

ТТИ ЮФУ | Таганрог

Составители: 

Рубрика: 

28
равной вероятностью. Определить количество информации в расчете на одну
переданную комбинацию.
Решение. Предварительно определим единицы измерения количества
информации:
а) при натуральном логарифме (нит) −
nit ln ( )e ;
б) при двоичном логарифме (бит) −
bit
.
nit ln ( )2 .
На входе канала имеется шесть (
i..16) комбинаций − x
1
, x
2
, x
3
, x
4
,
x
5
, x
6
. На выходе канала при правильной передаче им однозначно соответст-
вуют также шесть (
j..16) комбинаций − y
1
↔x
1
, y
2
↔x
2
, y
3
↔x
3
, y
4
↔x
4
,
y
5
↔x
5
, y
6
↔x
6
. Передаваемая комбинация x
i
может под влиянием помех
трансформироваться (перейти) в любую из комбинаций y
j
с вероятностью
p
0
0.4
и принята правильно с вероятностью
p
п
1p
0
. Вероятность
ошибки, например, комбинации x
1
P
ош
(x
1
)= P(y
2
/x
1
)+P(y
3
/x
1
)+P(y
4
/x
1
)+P(y
5
/x
1
)+P(y
6
/x
1
)=p
0
=0.4,
где P(y
j
/x
i
),
ij − условная вероятность приема комбинации y
j
при условии
передачи комбинации x
i
. Так как комбинация может перейти в любую другую
с равной вероятностью, то
P(y
j
/x
i
)=p
0
/ (N-1)=0.08 ,
ij и P(y
i
/x
i
)=p
п
=0.6 при j=i .
Следовательно, данный канал передачи информации характеризуется ка-
нальной матрицей условных вероятностей P(y
j
/x
i
)=
Py
x
,ji
ORIGIN 1
Py
x
0.6
0.08
0.08
0.08
0.08
0.08
0.08
0.6
0.08
0.08
0.08
0.08
0.08
0.08
0.6
0.08
0.08
0.08
0.08
0.08
0.08
0.6
0.08
0.08
0.08
0.08
0.08
0.08
0.6
0.08
0.08
0.08
0.08
0.08
0.08
0.6
.
Количество информации в среднем на одну переданную комбинацию
I(X,Y)=H(Y)-H(Y/X),
где H(Y) − энтропия принимаемой комбинации; H(Y/X) − условная энтропия,
т.е. энтропия принимаемой комбинации при условии, что известна передавае-
мая комбинация.

Страницы