ВУЗ:
Составители:
Рубрика:
67
пень неопределенности ситуации или задачи, в информатике она характе-
ризует
способность источника отдавать информацию. Количество ин-
формации, которое переносится одним сообщением источника
ii
aa
PI log
−
= .
Эта мера вытекает из меры Хартли:
N
NI
1
loglog −==
и является ее обоб-
щением на случай неравновероятности сообщений. Видно, что чем меньше
вероятность сообщения, тем большее количество информации оно несет.
Мера Шеннона также аддитивна.
И количество информации
I
в сообщении и энтропия источника H
измеряются в одних единицах - в битах, но эти величины различны. Эн-
тропия
H
источника определяет способность источника производить ин-
формацию; при наличии достаточной статистики она может быть вычис-
лена априори, до получения сообщений. Получение информации
I
снима-
ет часть неопределенности источника, уменьшает его энтропию. Это
уменьшение энтропии происходит после (апостериори) получения сооб-
щения, т.е.
I
определяется апостериорно. Таким образом, количество
информации
может рассматриваться как противоположность энтропии,
в этом проявляется диалектический закон единства и борьбы противопо-
ложностей.
Энтропия источника дискретных сообщений обладает следующими
свойствами:
1. Энтропия положительна.
2. Энтропия детерминированных сообщений равна нулю. Если одно
из сообщений источника достоверно, т.е. его вероятность равна 1, то веро-
ятности других сообщений равны нулю.
3. Энтропия максимальна, если сообщения источника равновероятны.
N
NN
H
n
log
1
log
1
1
max
∑
=−= . (3.2)
4. В случае равновероятных сообщений энтропия возрастает с увели-
чением числа сообщений.
5. Энтропия источника бинарных (двоичных) сообщений изменяется
от нуля до единицы в зависимости от вероятности сообщений и имеет мак-
симум при
5,0)1()0( =
=
PP . В этом случае мера Шеннона совпадает с мерой
Хартли. Источник с энтропией в 1 бит полностью согласован с каналом,
например, реле, имеющим информационную емкость в 1 бит. При нерав-
новероятности сообщений канал будет недогружен. Зависимость энтропии
от вероятности для бинарного источника иногда называют функцией Шен-
нона (рис. 3.1). При большом числе сообщений источника
и при равнове-
роятности сообщений они могут быть переданы с помощью равномерного
двоичного кода. Так, восемь сообщений кодируются: 000, 001, 010, 011,
100, 101, 110, 111. Энтропия источника равна трем: ,38log ==
H
это сов-
падает со средним числом символов на сообщение. Иногда используется
понятие
удельной энтропии, это - энтропия, приходящаяся на один сим-
Страницы
- « первая
- ‹ предыдущая
- …
- 65
- 66
- 67
- 68
- 69
- …
- следующая ›
- последняя »
