Теория электрической связи. Васильев К.К - 147 стр.

UptoLike

ВУЗ: 

УлГТУ | Ульяновск

Составители: 

Рубрика: 

147
характерны безусловные вероятности, сведенные в табл. 4.1.
Таблица 4.1
Безусловные вероятности букв русского алфавита
буква вероятность буква вероятность буква вероятность
пробел 0,175 М 0,026 Ч 0,012
О 0,090 Д 0,025 Й 0,010
Е 0,072 П 0,023 Х 0,009
А 0,062 У 0,021 Ж 0,007
И 0,062 Я 0,018 Ю 0,006
Т 0,053 Ы 0,016 Ш 0,006
Н 0,053 З 0,016 Ц 0,004
С 0,045 Ь,Ъ 0,014 Щ 0,003
Р 0,040 Б 0,014 Э 0,003
В 0,038 Г 0,013 Ф 0,002
Л 0,035 К 0,028
При разных вероятностях сообщения несут различное количество инфор-
мации
()
i
xI . При решении большинства практических задач необходимо знать
среднее количество информации, приходящееся на один элемент сообщения.
Это среднее количество информации при общем числе элементов сообщения
источника n и числе символов алфавита m равно:
()
()
() ()
∑
=
⋅−==
m
i
ii
xpxp
n
nxI
XH
1
2
log
,
(бит/сообщение).
(4.2)
Величину
()
XH
называют энтропией источника сообщений. Термин «эн-
тропия» заимствован из термодинамики, где она характеризует среднюю неоп-
ределенность состояния системы молекул вещества. В теории информации этот
термин введен в 1948 г. американским ученым К. Шенноном [49] и далее более
строго определен советскими математиками А.Я. Хинчиным [46, 47, 48]и
А.Н. Колмогоровым [27]. Физически энтропия
(
)
XH
выражает среднюю неоп-
ределенность состояния источника сообщений и является объективной инфор-
мационной характеристикой источника. Энтропия всегда положительна и при-
нимает максимальное значение при равновероятных сообщениях [2]:
() ()
m
mm
XH
m
i
2
1
2max
log
1
log
1
=
⎟
⎠
⎞
⎜
⎝
⎛
⋅−=
∑
=
.
(4.3)
Минимальное значение энтропии
(
)
0
min
=
XH соответствует случаю, когда
одна из вероятностей
()
1=
i
xp , а остальные равны нулю, т.е. имеется полная оп-

Страницы