Лекции по теории информации. Фурсов В.А. - 40 стр.

UptoLike

ВУЗ: 

СГАУ | Самара

Составители: 

Рубрика: 

40
2
2 2
2
1
log
log log
log 0
lim lim lim lim
1
1
0 0
e
p
p p
p p
p
(здесь произведена замена 1 p
и далее раскрыта неопределенность по пра-
вилу Лопиталя). Таким образом, при любых значениях
0 1
i
p
,
1,
i N
H Z
.
3. По ходу доказательства свойства 2 нетрудно заметить, что
0
H Z
, ес-
ли вероятность одного из элементов множества равна 1.
4. Энтропия максимальна, когда все элементы множества равновероятны и
max 2
max log
i
p
H Z H Z N
. (4.8)
Будем искать максимум (4.5) при условии
1
i
p
.
Функция Лагранжа для соответствующей задачи на
безусловный экстремум
2
1 1
, log 1
N N
i i i
p i
F p p p p extr
.
Необходимые условия экстремума:
2 2
,
log log 0
i
i
F p
p e
p
,
1
,
1 0
N
i
i
F p
p
,
Рис. 4.1 – Изменение
энтропии в случае
двух элементов
откуда следует
2
log
2 1
e
i
p Const N
. Проверкой легко убедиться, что ука-
занное значение доставляет максимум.
5. В частном случае множества с двумя элементами зависимость энтропии
от вероятности одного из элементов имеет вид, показанный на рисунке 4.1. В
этом можно убедиться, применяя соотношения и выводы, полученные при рас-
смотрении свойств 2 и 3 к соотношению (4.5), которое в данном случае прини-
мает вид
2 2
log 1 log 1
H Z p p p p
. (4.9)

Страницы