Теория передачи сигналов на железнодорожном транспорте. Женко Л.А. - 66 стр.

UptoLike

ВУЗ: 

СамГУПС | Самара

Составители: 

Рубрика: 

66
3 ТЕОРИЯ ИНФОРМАЦИИ
3.1 Энтропия источника дискретных сообщений
Человечество в прошлом не испытывало потребностей в количествен-
ном измерении информации. Такая потребность возникла в связи с разви-
тием средств коммуникаций, измерительной техники, компьютерных сис-
тем.
Первую количественную метрику предложил Хартли в 1928 году и
назвал её информационной емкостью.
Рассмотрим некоторую ячейку из
n реле. Считая, что каждое реле
может хранить два состояния
2
=
m , вся ячейка может содержать
n
N 2= со-
стояний. Хартли ввел двоичную логарифмическую меру, позволяющую
измерять информацию в двоичных единицах - битах, один бит - это коли-
чество информации, которое может храниться в элементарной ячейке на
два состояния:
битI 12log
2
== . В ячейке на N состояний хранится
битNI ⋅= log . Основание логарифма определяет размерность единиц изме-
рения информации. Поскольку используют двоичные единицы - биты, ос-
нование логарифма опускают. Двоичная единица информации «бит» про-
изошло от «сжатия» английских слов binary didgit – двоичная единица.
При использовании десятичных логарифмов можно количество информа-
ции измерять в дитах. Один дит равен 3,32 бит.
Такая мера является
аддитивной, она позволяет осуществлять сложе-
ние
информации в разных ячейках при объединении их в одну.
Мера Хартли не отражала вероятностного характера информации и не
могла быть использована для оценки информационных свойств источни-
ков сообщений. В 1948 году Шенноном была предложена статистическая,
т.е. вероятностная мера.
Количество и качество информации помимо статистической теории
могут характеризоваться также терминами структурной
теории, рассмат-
ривающей строение массивов информации, а также семантической теории,
учитывающей целесообразность, полезность и ценность информации.
Пусть дискретный источник сообщений вырабатывает полный ан-
самбль сообщений
1
1
=
∑
N
a
i
P , где
i
a
P - вероятность i -го сообщения. Этот ис-
точник может быть охарактеризован средним количеством информации,
приходящимся на одно сообщение:
∑
=
−=
N
i
aaa
iii
PPH
1
log . (3.1)
Эту величину
i
a
H Шеннон назвал энтропией источника. Понятие эн-
тропии (от греческого эн-тропе – обращение) существовало и до Шеннона
и распространилось на ряд областей знания. В термодинамике энтропия
означает вероятность теплового состояния вещества, в математике – сте-

Страницы