Сборник примеров и задач по теории информации: Руководство для практических занятий на базе Mathcad 6.0 Plus. Кавчук С.В. - 8 стр.

UptoLike

ВУЗ: 

ТТИ ЮФУ | Таганрог

Составители: 

Рубрика: 

8
H(X,Y)=H(X)+H(Y/X)=H(Y)+H(X/Y),
то условные энтропии будут
HY
X
H
XY
H
X
;
=HY
X
0.715 bit
.
HX
Y
H
XY
H
Y
;
=HX
Y
1.234 bit
.
Пример 1.2.4. По линии связи передаются непрерывные амплитудно-
модулированные сигналы x(t), распределенные по нормальному закону с ну-
левым средним значением и среднеквадратичными отклонениями
σ
x
.
8 volt
.
Определить энтропию сигнала при точности его измерения
Δ
x
.
0.2 volt.
Решение. Предварительно определим единицы измерения количества эн-
тропии:
а) при натуральном логарифме (нит) −
nit ln ( )e ;
б) при двоичном логарифме (бит) −
bit
.
nit ln ( )2 .
По условию задачи плотность вероятности сигнала
p( )x
.
1
.
σ
x
.
2
π
exp
x
2
.
2
σ
x
2
.
На основании (1.8) энтропия непрерывного сигнала
H
x
σ
x
d
∞
∞
x
..
1
.
σ
x
.
2
π
e
x
2
.
2
σ
x
2
ln
.
1
.
σ
x
.
2
π
e
x
2
.
2
σ
x
2
ln ( )
Δ
x
;
H
x
σ
x
1
2
.
1
2
ln ( )2ln
σ
x
.
1
2
ln ( )
π
ln ( )
Δ
x .
Итак, энтропия сигнала
H
x
1
2
ln
.
σ
x
Δ
x
.
2
π
;
=H
x
7.369 bit
.
Пример 1.2.5. В системе регулирования скорости вращения вала двига-
теля задающее воздействие X в виде электрического напряжения имеет
N16 независимых дискретных значений с шагом квантования
δ
.
0.2 volt
,
вероятности появления которых распределены по двухстороннему экспонен-
циальному закону с параметром
α
.
0.5 volt
и функцией плотности вероятно-
сти

Страницы