Сборник примеров и задач по теории информации: Руководство для практических занятий на базе Mathcad 6.0 Plus. Кавчук С.В. - 50 стр.

UptoLike

ВУЗ: 

ТТИ ЮФУ | Таганрог

Составители: 

Рубрика: 

50
На основании (1.7) с учетом P(x
i
,y
j
)=P(x
i
)P(y
j
/x
i
) условная энтропия
H(Y/X) выходного сигнала Y относительно входного X
HY
X
=1
3
i =1
3
j
..
Px
j
Py
x
,ji
ln Py
x
,ji
.
Раскрывая знак суммы при
assume
,,,Px p
1
p
2
p
3
factor ,
имеем
HY
X
.
Px
3
Px
1
Px
2
.
p
1
ln
p
1
.
p
2
ln p
2
.
p
3
ln p
3
.
Так как сумма вероятностей
=Px
3
Px
1
Px
2
1
, то условная эн-
тропия принимает вид
HY
X
.
p
3
ln p
3
.
p
1
ln p
1
.
p
2
ln p
2
и не зависит от статистик входного и выходного сигналов. Она полностью
определяется параметрами канальной матрицы.
Согласно (2.3), количество информации на выходе канала связи
I(X,Y)=H(Y)-H(Y/X)
будет максимально при максимуме энтропии приемника H(Y). Энтропия H(Y)
максимальна в случае равной вероятности сигналов на выходе канала, т.е.
когда при числе сигналов
N3 их вероятности
Py
j
1
N
;
=Py
1
0.333
;
=Py
2
0.333
;
=Py
3
0.333
В этом случае энтропия выходных сигналов канала соответствует мере Хартли
и равна lnN, т.е.
H
Ymax
ln ( )N
;
=H
Ymax
1.585 bit
.
Таким образом, максимальное количество информации на выходе канала
связи, определяемое как I(X,Y)
max
=H(Y)
max
-H(Y/X), будет
I
XYmax
ln ( )N
.
p
3
ln p
3
.
p
1
ln p
1
.
p
2
ln p
2
.
Пропускная способность канала
C
.
F ln ( )N
.
p
3
ln p
3
.
p
1
ln p
1
.
p
2
ln p
2
и составляет
=C 136.302 sec
1
bit.
Согласно (1.1), безусловная энтропия H(X) входного сигнала
H
X
=1
3
i
.
Px
i
ln Px
i
;
=H
X
1.571 bit
.
При этом, согласно (3.2) и (2.2), производительность vI(X) источника
assume
,FPx
.

Страницы