ВУЗ:
Составители:
∆∆
I
S
=− . (3.5)
Всякое сообщение, закодированное какими–либо
символами, содержит в себе неопределенность,
пропорциональную числу возможных сочетаний из этого набора
символов по их позициям, т.е. может быть охарактеризована
некоторым
статистическим весом сообщения. Тогда, при
условии равновероятности встречаемости символов, энтропия
сообщения может быть представлена в виде
S к pp W= log ,
2
= 1 /, (3.6)
где
к — коэффициент пропорциональности, который в теории
информации полагается равным единице (
к = 1), а p —
вероятность появления символов. С учетом (3.5) последнее
выражение можно переписать в виде
Ip=−log .
2
(3.7)
Формула (3.7) была получена одним из основателей теории
информации американским инженером и математиком К.
Шенноном. Логарифм с основанием 2 в (3.6), (3.7) взят из тех
соображений, что технически удобнее использовать двоичные
коды, в которых, например, используются символы 1 и 0. Тогда
информация сообщения, связанного с выборкой одного из двух
возможных вариантов (например, при подбрасывании монеты,
когда
ρ
= 1 2 )
()
I =− =log
2
1 2 1бит (одна единица
информации).
Переходя в (3.7) к натуральным логарифмам, получаем
Ip=−
1
2ln
ln . (3.8)
В смысловом (
семантическом ) аспекте энтропия
характеризует степень деградации энергии в системе
,
связанную с ее рассеянием: энергия высокого качества, за счет
Страницы
- « первая
- ‹ предыдущая
- …
- 33
- 34
- 35
- 36
- 37
- …
- следующая ›
- последняя »
