Лекции по теории информации. Фурсов В.А. - 39 стр.

UptoLike

ВУЗ: 

СГАУ | Самара

Составители: 

Рубрика: 

39
1,
i N
элементов. Удовлетворяющая этому требованию мера предложена
К. Шенноном и называется энтропией:
1
log
N
i a i
i
H Z p z p z
. (4.5)
Основание
a
логарифма, вообще говоря, не имеет значения. Если лога-
рифм десятичный (
), энтропия и количество информации определяются в де-
сятичных единицах дитах, если логарифм натуральный (
), единицей измере-
ния является нит. Наиболее широко используется двоичная единица информа-
ции – bit (сокращение от английского binary digit), соответствующая логарифму
по основанию два (
2
log
), которая и будет использоваться далее.
Для независимо реализуемых элементов множества в качестве меры может
использоваться априорная частная неопределенность:
2
log
i i
H z p z
. (4.6)
Нетрудно заметить, что мера К. Шеннона (4.5), характеризующая неопределён-
ность источника в целом, получается усреднением частных неопределенностей
(4.6) по всем элементам множества.
Покажем связь меры К. Шеннона с мерой Р. Хартли. Если все элементы
множества равновероятны, т.е.
1
i
p N
для всех
1,
i N
, то
2 2
1
1 1
log log
N
i
H Z N
N N
. (4.7)
Таким образом, мера Р. Хартли – частный случай меры К. Шеннона для равно-
вероятных элементов. Можно также показать, что мера К. Шеннона является
обобщением меры Хартли на случай неравновероятных элементов.
4.3 Свойства энтропии
1. Энтропия величина вещественная и неотрицательная. Свойство легко
проверяется по формуле (4.5) с учетом того, что
0 1
i
p z
для всех
1,
i N
.
2. Энтропия величина ограниченная. При
0 1
i
p
это свойство непосред-
ственно следует из формулы (4.5). При
0
p
имеем:

Страницы