ВУЗ:
Составители:
Рубрика:
145
ГЛАВА 4. ТЕОРИЯ ПЕРЕДАЧИ ИНФОРМАЦИИ
4.1. Информационные характеристики источника сообщений
Из определения информации как совокупности неизвестных для получа-
теля сведений следует, что в общем случае дать оценку количества информации
довольно затруднительно, так как всякое подлежащее передаче сообщение име-
ет свое содержание, свой смысл и определенную ценность для получателя. Од-
но и то же сообщение может давать одному получателю много информации,
другому
мало. Однако содержательная сторона несущественна для теории и
техники связи и поэтому не учитывается при определении количественной ме-
ры информации.
4.1.1. Количественное определение информации
В основу измерения количества информации положены вероятностные
характеристики передаваемых сообщений, которые не связаны с конкретным
содержанием сообщений, а отражают степень их неопределенности. Естествен-
но, что чем меньше вероятность сообщения, тем больше информации оно несет.
Количество информации
(
)
i
xI в отдельно взятом единичном сообщении
i
x
определяется величиной, обратной вероятности появления сообщения
(
)
i
xp и
вычисляется в логарифмических единицах [2]:
()
()
()()
ib
i
bi
xp
xp
xI log
1
log −=
⎟
⎟
⎠
⎞
⎜
⎜
⎝
⎛
=
.
(4.1)
Логарифмическая мера, впервые предложенная в 1928 г. английским уче-
ным Р. Хартли, обладает свойством аддитивности, что соответствует нашим
интуитивным представлениям об информации. Кроме того, при
()
1=
i
xp количе-
ство информации, вычисленное по (4.1), равно нулю, что соответствует приня-
тому определению информации.
Если источник выдает зависимые сообщения
mi
xxx ,...,
1
=
, то они характе-
ризуются условными вероятностями
⎟
⎟
⎠
⎞
⎜
⎜
⎝
⎛
m
i
xx
x
p
,...,
1
. И в этом случае количество
информации вычисляется по формуле (4.1) с подстановкой в нее условных ве-
роятностей сообщений.
Страницы
- « первая
- ‹ предыдущая
- …
- 143
- 144
- 145
- 146
- 147
- …
- следующая ›
- последняя »
