ВУЗ:
Составители:
Рубрика:
68
вол. Данный источник имеет энтропию 3 бита на сообщение, можно также
сказать, что его энтропия 1 бит/символ. Такая оценка удобна при сравне-
нии различных источников.
Рис 3.1
Рассмотрим, как можно использовать введенные понятия при вскры-
тии неопределенности источника.
Пример 1. Пусть, надо отгадать задуманное число от 1 до 32, задавая
источнику двоичные вопросы. Так как задуманное число с равной вероят-
ностью может быть любым, энтропия источника Н = log 32 = 5 бит/число.
Задаем первый вопрос: Число в нижней половине? Ответ: да. Количество
полученной от источника информации I = 1 бит. Энтропия источника
уменьшилась и стала Н = 4 бит/число.
Задавая подобный вопрос еще раз и
получая любой ответ, мы сужаем диапазон поиска вдвое и уменьшаем не-
определенность источника на один бит. Таких вопросов и ответов будет
ровно пять, после чего энтропия источника будет равна нулю.
Пример 2. Предположим, среди 25 монет одна фальшивая, более лег-
кая. Какое минимальное число взвешиваний на рычажных весах необхо-
димо сделать для нахождения фальшивой монеты?
Прежде всего определяем энтропию источника. Так как весы могут
быть в трех состояниях, каждое взвешивание уменьшает энтропию источ-
ника на одну троичную единицу информации. Поэтому монеты следует
разделить
на три примерно равные кучки: 8, 8 и 9 монет. Положив на чаш-
ки весов одинаковое число монет 8 и 8, определяем, есть ли среди них
фальшивая и, если есть, то в какой чашке. Предположим, что первая кучка
легче второй. Значит, монета здесь. Эту кучку делим на три части 3, 3 и 2.
Взвешиваем одинаковые части. Допустим, они равны
. Значит, искомая мо-
нета находится среди двух оставшихся. При третьем взвешивании монета
найдена.
Число
m характеризует число кодовых признаков, используемых при
передаче сообщений. Это число определяет алфавит источника. При
2>m
Страницы
- « первая
- ‹ предыдущая
- …
- 66
- 67
- 68
- 69
- 70
- …
- следующая ›
- последняя »
