Теория электрической связи. Васильев К.К - 146 стр.

UptoLike

ВУЗ: 

УлГТУ | Ульяновск

Составители: 

Рубрика: 

146
Единицы измерения количества информации.
Выбор основания логарифмов в формуле (4.1) определяет единицы изме-
рения количества информации. При использовании десятичного логарифма
()
10=b информация измеряется в десятичных единицах – дитах. В случае ис-
пользования натуральных логарифмов единицей измерения является натураль-
ная единица – нат.
Более удобно в системах, работающих с двоичными кодами, использовать
основание логарифма 2=b , и тогда информация измеряется в двоичных едини-
цах – дв.ед. Весьма часто вместо двоичных единиц используется эквивалентное
название – бит, возникшее как сокращенная запись английских слов binary digit
(двоичная цифра). 1 бит это количество информации, которое передается еди-
ничным символом сообщения, вероятность передачи которого
()
5,0=
i
xp :
() ( )
()
12log
2
1
log5,0log
1
222
=−=
⎟
⎠
⎞
⎜
⎝
⎛
−=−=
−
i
xI
(бит).
В настоящее время термин бит в информатике, вычислительной и им-
пульсной технике употребляется не только как единица количества информа-
ции, но и для обозначения числа двоичных символов 0 и 1, поскольку они
обычно равновероятны и каждый из них несет 1 бит информации.
Количество информации в сообщении, составленном из n символов, оп-
ределяется по формуле [2]:
() () ()
∑
=
⋅⋅−=
m
i
ii
xpxpnnxI
1
2
log, ,
где
{}
mi ,...,1= – номер символа
i
x из алфавита источника;
()
i
xp – вероятность передачи i -го символа.
4.1.2. Энтропия и производительность дискретного источника
сообщений
Энтропия источника сообщений
Для большинства реальных источников сообщения имеют разные вероят-
ности. Например, в тексте буквы А, О, Е встречаются сравнительно часто, а Щ,
Ы – редко. Согласно экспериментальным данным, для букв русского алфавита

Страницы