Составители:
38
Глубиной h слова называют количество различных элементов (зна-
ков), содержащихся в принятом алфавите.
Длиной l слова называют количество знаков, необходимых и дос-
таточных для представления заданного набора слов элементами дан-
ного алфавита.
Глубина слова соответствует основанию, а длина слова – разряд-
ности системы счисления или кодирования.
Общее количество слов, которое может быть представлено кода-
ми длиной l и глубиной h, определяется выражением
q = h
l
.
Это означает, что информационная емкость q при таком способе
оценивания экспоненциально зависит от длины слова l. Поэтому при-
менение данной меры на практике представляет большое неудоб-
ство.
Для обеспечения возможности сложения количества информации
при сложении слов и пропорциональности количества информации
длине слова Хартли ввел аддитивную логарифмическую меру инфор-
мации
I = log
2
h
l
= llog
2
h.
Единицей измерения информации при применении аддитивной меры
служит бит, т. е. количество информации, содержащееся в слове глу-
биной h = 2 и длиной l = 1.
Если информация поступает от различных источников, то при оце-
нивании количества информации аддитивной мерой справедливо
()()
12
1
,,, ,
n
ni
i
IAA A IA
=
=
∑
…
где
I(A
1
, A
2
, ..., A
n
) – общее количество информации от источников A
1
,
A
2
, ..., A
n
;
I(A
i
), i = 1(1)n – количество информации от источника A
i
, измерен-
ное аддитивной мерой.
Статистические меры информации
Определение количества информации с помощью статистических
мер требует привлечения вероятностного подхода. При таком под-
ходе информация рассматривается как сообщение об исходе случай-
Страницы
- « первая
- ‹ предыдущая
- …
- 36
- 37
- 38
- 39
- 40
- …
- следующая ›
- последняя »
