Составители:
Рубрика:
36
m
n
# m
n1
+ m
n2
, если n
1
+ n
2
= n.
2. Для удовлетворения условию аддитивности можно выбрать в ка-
честве меры количества информации не само число N, а некоторую его
функцию J = f (N). Р. Хартли в 1928 г. предложил логарифмическую
меру количества информации:
J = log (N) = nlog (m). (2.2)
Эта мера обладает свойством аддитивности, а именно:
nlog (m) = n
1
log (m) + n
2
log (m), если n
1
+ n
2
= n.
Основание логарифма в (2.2) не имеет существенного значения.
Широко пользуются логарифмом по основанию 2 (причем обозначение
"2" опускается). В этом случае количество информации измеряется в
двоичных единицах (дв. ед.) или битах. Однако мера (2.2) не удовлет-
воряет четвертому интуитивному требованию, так как не учитывается
зависимость количества информации, содержащейся в сообщении, от
вероятности появления сообщения. В то же время эта вероятность ха-
рактеризует неожиданность данного сообщения для получателя.
3. К. Шеннон учел требуемую зависимость и предложил определять
количество информации, содержащееся в сообщении x
i
(i = 1, 2, ... , m
i
)
и относящееся к выбору данной буквы x
i
алфавита источника, в виде
J(x
i
) = log [1/p(x
i
)] = –log [p(x
i
)] , (2.3)
где p (x
i
) – вероятность появления сообщения x
i
, причем сумма всех
p (x
i
) = 1.
Как следует из (2.3), количество информации, содержащееся в сооб-
щении, тем больше, чем меньше вероятность этого сообщения. Такая
зависимость соответствует интуитивным представлениям об информа-
ции. Действительно, сообщения, ожидаемые с большей вероятностью,
легко угадываются получателем, а достоверные сообщения, вероятность
которых равна 1, вообще не содержат информации, так как всегда мо-
гут быть предсказаны точно (очевидно, если p (x
i
) = 1, то J (x
i
) = 0).
Наоборот, сообщения, являющиеся сенсациями, имеют малую вероят-
ность появления и их трудно предсказать, поэтому они содержат боль-
ше информации.
Количество информации, определяемое (2.3), является случайной
величиной, принимающей значение J (x
i
) с вероятностью p (x
i
) в зави-
симости от появления буквы x
i
в сообщении источника. Однако при
передаче больших массивов сообщений важно не количество информа-
Страницы
- « первая
- ‹ предыдущая
- …
- 36
- 37
- 38
- 39
- 40
- …
- следующая ›
- последняя »
