Радиотехнические системы передачи информации. Системы связи. Оценка технической эффективности радиотехнических систем передачи информации и систем связи. Бакеев Д.А. - 9 стр.

UptoLike

ВУЗ: 

КамчатГТУ | Петропавловск-Камчатский

Составители: 

Рубрика: 

где – вероятность появления элементарного сообщения с
признаком; – число сообщений. Численно информация в
этом случае определяется как
i
p i
m
∏
∑
=
=
−=−=−=
m
i
m
i
iii
pppaI
1
1
logloglog)( .
Если всем сообщениям соответствует одинаковая вероят-
ность
n
p
i
1
= , где – общее число состояний, то n
nm
n
mpmaI
i
log
1
loglog)( =−=−= .
Таким образом, для оценки количества информации целе-
сообразно использовать логарифмическую функцию, которая
удовлетворяет требованиям количественной оценки информа-
ции при передаче одного сообщения и позволяет оценить уве-
личение количества информации при росте числа сообщений.
Пример 1.1. Необходимо определить количество информа-
ции в слове русского текста, состоящем из 10 букв. Для упроще-
ния считается, что буквы равновероятны и следуют независимо.
Решение.
Поскольку в русском алфавите число букв равно 32, веро-
ятность поступления одной буквы
03125,0
32
1
==р . В одной
букве содержится 503125,0loglog
=
−
=
−
=
pI бит информа-
ции. Количество информации в слове из 10 букв составит:
бит. 50105 =⋅=I
Для характеристики общих статистических свойств ин-
формации, поступающей от источника сообщений, использу-
ется понятие энтропии ). Среднее количество информа-
ции, приходящееся на одно элементарное сообщение,
называется энтропией.
( pH
Энтропия определяется как математическое ожидание
случайной величины
λ
– количества информации, содержа-
щейся в случайно выбранном (с вероятностью ) элементар-
ном сообщении :
i
p
i
а
9
где pi – вероятность появления элементарного сообщения с i
признаком; m – число сообщений. Численно информация в
этом случае определяется как
                                        m               m
            I (ai ) = − log p = − log   ∏
                                        i =1
                                               pi = −   ∑ log p .
                                                        i =1
                                                                 i



    Если всем сообщениям соответствует одинаковая вероят-
          1
ность pi = , где n – общее число состояний, то
          n
                                                 1
              I (ai ) = − m log p = − m log        = m log n .
                                                 n
    Таким образом, для оценки количества информации целе-
сообразно использовать логарифмическую функцию, которая
удовлетворяет требованиям количественной оценки информа-
ции при передаче одного сообщения и позволяет оценить уве-
личение количества информации при росте числа сообщений.
    Пример 1.1. Необходимо определить количество информа-
ции в слове русского текста, состоящем из 10 букв. Для упроще-
ния считается, что буквы равновероятны и следуют независимо.
    Решение.
    Поскольку в русском алфавите число букв равно 32, веро-
                                         1
ятность поступления одной буквы р =         = 0,03125 . В одной
                                         32
букве содержится I = − log p = − log 0,03125 = 5 бит информа-
ции. Количество информации в слове из 10 букв составит:
I = 5 ⋅ 10 = 50 бит.
    Для характеристики общих статистических свойств ин-
формации, поступающей от источника сообщений, использу-
ется понятие энтропии H ( p ) . Среднее количество информа-
ции, приходящееся на одно элементарное сообщение,
называется энтропией.
    Энтропия определяется как математическое ожидание
случайной величины λ – количества информации, содержа-
щейся в случайно выбранном (с вероятностью pi ) элементар-
ном сообщении аi :
                                   9

Страницы