Составители:
Рубрика:
38
Анализируя выражение (2.5), можно отметить некоторые свойства
энтропии дискретной случайной величины.
1. Энтропия источника является величиной вещественной и поло-
жительной – H (x) ≥ 0. Энтропия равна 0 в случае, когда отсутствует
возможность выбора, т. е. когда величина X может принимать только
одно значение с вероятностью p(x) = 1. В передаче такого сообщения
нет смысла, поскольку результат заранее известен получателю. Источни-
ки с малой энтропией не являются информативными. Они выдают зна-
ки, которые с большой вероятностью известны получателю. В этом смысле
энтропия источника характеризует его информационную емкость.
2. Энтропия случайной величины, имеющей всего два значения x
1
и
x
2
, не превышает 1. При объеме алфавита источника m
i
= 2 и одинако-
вой вероятности сообщений p(x
1
) = p (x
2
) = 0,5 энтропия достигает мак-
симального значения H
max
(x) = 1 дв. ед. Следовательно, в качестве еди-
ницы измерения информации (дв. ед., бит) взята информация, содержа-
щаяся в одном из двух равновероятных сообщений.
3. Максимальная энтропия источника H
max
(x) достигается лишь в слу-
чае равных вероятностей выбора букв алфавита, т. е. когда p (x
i
) = 1/m,
(i = 1, 2, ..., m), тогда
max
1
( ) 1/ log(1/ ) log .
m
i
Hx m m m
=
=− =
∑
(2.6)
Такой источник называют идеальным (оптимальным), так как каж-
дый его символ несет максимальное количество информации. Для кон-
кретизации этих свойств энтропии приведем два примера.
Пример
Определить энтропию источника сообщений, если он может выда-
вать m = 5 знаков с вероятностями p(x
1
) = 0,4; p(x
2
) = 0,1; p(x
3
) = 0,2;
p(x
4
) = 0,1; p(x
5
) = 0,2. (Сумма всех p(x
i
) = 1).
Решение:
222
1
222
( ) ( )log ( ) (0,4log 0,4 0,1log 0,1
0,2log 0,2 0,1log 0,1 0,2log 0,2) 2,12 бит/знак
.
m
ii
i
Hx px px
=
=− =− + +
+++ =
∑
Страницы
- « первая
- ‹ предыдущая
- …
- 38
- 39
- 40
- 41
- 42
- …
- следующая ›
- последняя »
