Составители:
Рубрика:
37
ции в одном конкретном символе J(x
i
), а количество информации, ус-
редненное по всем возможным сообщениям, содержащим n символов.
Такой мерой количества информации является математическое ожида-
ние (среднее значение) случайной величины J(x
i
), содержащей n симво-
лов (букв), усредненное по всему ансамблю X:
11
( ) ()() ()log().
==
==−
∑∑
ii
mm
ii i i
ii
JnpxJxnpxpx
Χ
(2.4)
Это соотношение носит название формулы Шеннона. Для равнове-
роятных сообщений (p (x
i
) = 1/m
i
) меры информации по Хартли (2.2) и
по Шеннону (2.4) совпадают
1
( ) 1/ log (1/ ) log .
=
=− =
∑
m
i
Jnmmnm
Χ
Поэтому меру Шеннона (2.4) можно рассматривать как обобщение
меры Хартли на ансамбль сообщений с распределением вероятностей,
отличающимся от равномерного.
Энтропия источника дискретных сообщений
Для характеристики источника сообщений более удобной величи-
ной является средняя величина (математическое ожидание) количества
информации, содержащейся в одном символе (букве) сообщения. Эта
величина называется энтропией источника сообщений. В случае отсут-
ствия статистической связи между символами, энтропия источника:
1
() ()/ ()log().
=
==−
∑
m
ii
i
HJn pxpx
ΧΧ
(2.5)
Понятие энтропии (от греческого "эн-тропе" – обращение) распрост-
ранилось на ряд областей знания. Энтропия характеризует неопреде-
ленность каждой ситуации. Энтропия в термодинамике определяет ве-
роятность теплового состояния вещества (закон Больцмана), в матема-
тике – степень неопределенности ситуации или задачи, в теории ин-
формации она характеризует способность источника "отдавать" инфор-
мацию. Приобретение информации сопровождается уменьшением нео-
пределенности, поэтому количество информации можно измерять ко-
личеством исчезнувшей неопределенности, т. е. энтропией. Энтропию
называют также информационной содержательностью сообщения.
Страницы
- « первая
- ‹ предыдущая
- …
- 37
- 38
- 39
- 40
- 41
- …
- следующая ›
- последняя »
