ВУЗ:
Составители:
Рубрика:
148
ределенность.
Для источника с зависимыми сообщениями энтропия тоже вычисляется
как математическое ожидание количества информации на один элемент этих
сообщений. Следует заметить, что полученное в этом случае значение энтропии
будет меньше, чем для источника независимых сообщений. Это следует из то-
го, что при наличии зависимости сообщений неопределенность выбора умень-
шается и, соответственно, уменьшается энтропия. Так, в тексте после сочетания
"чт" вероятнее всего, что третьей буквой будет "о" и маловероятно появление в
качестве третьей буквы "ж" или "ь". В среднем, сочетание "что" несет меньше
информации, чем эти буквы в отдельности.
Наиболее широкое применение в дискретных системах передачи инфор-
мации получили двоичные источники. Двоичные источники характеризуются
передачей только двух возможных сообщений. Причем, если вероятность пере-
дачи одного из них
()
1
xp , то вероятность передачи другого
() ()
12
1 xpxp −= .
Определим энтропию двоичного источника. Из формулы (4.2) получим:
() () () () () () ()
() () ()
[]
()
[]
.1log1log
logloglog
121121
222121
2
1
2
xpxpxpxp
xpxpxpxpxpxpXH
i
ii
−⋅−−⋅−=
=⋅−⋅−=⋅−=
∑
=
(4.4)
График зависимости (4.4) пред-
ставлен на рис. 4.1. Как следует из
графика, энтропия двоичного ис-
точника изменяется в пределах от
нуля до единицы. Энтропия равна
нулю, когда вероятность передачи
одного из символов равна нулю или
единице, т.е. передается только од-
но сообщение. Получение же одно-
го единственно возможного сообщения никакой новой информации не дает.
Энтропия двоичного источника будет максимальна, если существует наиболь-
шая неопределенность, т.е.
()
(
)
5,0
12
=
=
xpxp . При этом
(
)
1log
2
=
=
mXH .
(
)
XH
1
0
50,
(
)
i
xp
Страницы
- « первая
- ‹ предыдущая
- …
- 146
- 147
- 148
- 149
- 150
- …
- следующая ›
- последняя »
