ВУЗ:
Составители:
Рубрика:
69
удельная энтропия источника возрастает. В принципе, такой источник бо-
лее эффективен, он позволяет передавать больше информации в единицу
времени. Так, если алфавит источника равен 32 буквам, то энтропия ис-
точника - 5 бит/букву; если в китайском языке используется около 2000
иероглифов, то энтропия такого источника - 11 бит/иероглиф, т.е. 11
бит/символ. Ясно, что использование
большого алфавита приводит к тех-
ническим сложностям, отсюда, наибольшее распространение в технике по-
лучил двоичный алфавит с буквами или символами 0 и 1. Источник, рабо-
тающий на таком алфавите, не может иметь энтропию больше 1
бит/символ.
3.2. Энтропия источника непрерывных сообщений
Непрерывные источники сообщений имеют бесконечное число сооб-
щений и следовательно должны иметь бесконечную энтропию, т.к. число
состояний непрерывного источника N бесконечно. Тем не менее, можно по
аналогии с дискретными источниками понятие энтропии обобщить и на
непрерывный источник. Пусть источник выдает непрерывные сигналы,
определенные в некотором диапазоне
ba... и имеющие плотность вероятно-
стей
)(xf . Изобразим непрерывное сообщение )(tx совместно с графиком
)(xf (рис.3.2).
Рис 3.2
Разобьем диапазон изменения сигнала по уровню на участки
xΔ и оп-
ределим вероятность попадания случайной величины
i
x в интервал x
Δ
. За-
пишем энтропию квантованного таким образом непрерывного сигнала:
],)(log[)(log xxfxxfPPxH
ii
i
a
i
a
ΔΔΔ
∑
−=
∑
−=
∞
∞−
∫
=≈
+
−
2
2
)()(
x
i
x
x
i
x
i
dxxfxPxxf
Δ
Δ
ΔΔ
.
Чтобы получить выражение для энтропии непрерывного источника,
осуществим предельный переход при
0→
Δ
x .
∫∫
−−==
∞
∞−
∞
∞−
→
dxxfxdxxfxfxHHx
x
)(log)(log)(lim
0
ΔΔ
Δ
,
)(tx
b
a
x
Δ
x
)(xf
Страницы
- « первая
- ‹ предыдущая
- …
- 67
- 68
- 69
- 70
- 71
- …
- следующая ›
- последняя »
