Составители:
Рубрика:
40
Если источник выдает последовательность букв из алфавита объе-
мом m = 32 и буквы выбираются равновероятно и независимо друг от
друга, то энтропия источника (2.6) H
max
(x) = log m = 5 бит. Однако
таким источником могла бы быть обезьяна, нажимающая в хаотическом
порядке клавиши пишущей машинки (идеальный источник!).
Если буквы передаются не хаотически, а составляют связный, на-
пример русский текст, то появление их неравновероятно (см. выше –
вероятность появления буквы "О" в 45 раз больше, чем буквы "Ф"), и,
главное, буквы в тексте зависимы. Так, после гласных не может по-
явиться "Ь", мала вероятность сочетания более трех согласных подряд,
вероятность последовательности, не образующей осмысленных слов
(идеальный источник), практически равна нулю. Расчеты показывают
[5], что для текстов русской художественной прозы энтропия оказыва-
ется менее 1,5 бит на букву. Еще меньше, около 1 бита на букву, энтро-
пия поэтических произведений, так как в них имеются дополнитель-
ные вероятностные связи, обусловленные ритмом и рифмами. Слово,
рифмуемое с окончанием предыдущей стихотворной строки, легко уга-
дывается без произнесения или чтения его, и поэтому информации не
несет (H(x) = 0). Энтропия телеграмм обычно не превышает 0,8 бит на
букву, поскольку их тексты довольно однообразны (особенно поздрави-
тельных).
Количественно эта характеристика источника оценивается его избы-
точностью.
Избыточность источника сообщений
Абсолютная избыточность источника определяется формулой
χ
a
= H
max
(x) – H(x). (2.8)
Чаще используется понятие относительной избыточности, которую
и называют избыточностью источника:
max
max max
() ()
()
11,
() ()
HxHx
Hx
Hx Hx
−
χ
==−=−
µ
(2.9)
где µ = H(x) / H
max
(x) – относительная энтропия.
Избыточность 0 ≤ χ ≤ 1 и учитывает как взаимосвязь (корреляцию)
символов в передаваемой последовательности, так и неопределенность
каждого символа. Она является важной характеристикой источника, так
как указывает, насколько можно сократить число символов и довести
его до минимального n
min
в последовательности данного источника, если
Страницы
- « первая
- ‹ предыдущая
- …
- 40
- 41
- 42
- 43
- 44
- …
- следующая ›
- последняя »
