Лекции по теории информации. Фурсов В.А. - 38 стр.

UptoLike

ВУЗ: 

СГАУ | Самара

Составители: 

Рубрика: 

38
,
/
i j
i j
j
p z v
p z v
,
,
/
i j
j i
i
p z v
p v z
p z
. (4.2)
4.2 Энтропия, как мера неопределенности выбора
Пусть задан дискретный ансамбль с
N
возможными состояниями:
1 2
1 2
, ,..., ,...,
, ,..., ,...,
i N
i N
z z z z
Z
p p p p
,
0
i i
p p z
,
1
i
p
. (4.3)
Интуитивно ясно, чем больше величина
N
, тем больше неопределенность вы-
бора конкретного элемента ансамбля. Это наталкивает на мысль принять число
N
в качестве меры неопределенности выбора. Однако при
1
N
неопределен-
ность выбора равна 0, хотя мера отлична от нуля. По-видимому, это неудобство
послужило одной из причин введения следующей меры неопределенности:
log
a
H Z N
. (4.4)
Мера предложена Р. Хартли в 1928 г. Свойства меры Хартли:
1) она является монотонной функцией числа элементов;
2) при
1
N
0
H Z
, т.е. мера равна нулю, когда неопределенность отсут-
ствует;
3) мера аддитивна, т.е. объединение, например, двух множеств
Z
и
V
с чис-
лом элементов
N
и
M
, можно рассматривать как одно множество, вклю-
чающее
N M
различных комбинаций
i j
z v
,
1,
i N
,
1,
j M
, при этом
log log log
a a a
H ZV NM N M
.
К сожалению, мера Р. Хартли не учитывает того факта, что вероятности
i
p
,
1,
i N
в (4.3) могут быть различны. Поэтому она используется лишь в слу-
чае равновероятных элементов множества. При неравновероятных элементах
неопределенность меньше. Например, неопределенность выбора в случае двух
элементов с априорными вероятностями 0,9 и 0,1 меньше, чем в случае равно-
вероятных элементов (0,5; 0,5). Поэтому естественным является требование,
чтобы мера неопределенности была непрерывной функцией вероятностей
i
p
,

Страницы