Радиотехнические системы передачи информации. Системы связи. Оценка технической эффективности радиотехнических систем передачи информации и систем связи. Бакеев Д.А. - 11 стр.

UptoLike

ВУЗ: 

КамчатГТУ | Петропавловск-Камчатский

Составители: 

Рубрика: 

Отсюда
531,0
1
log
1
log)( ==−= pppf
max
ee
.
Максимальное значение энтропии ) достигается при
равных вероятностях появления двух признаков двоичного
источника. Можно показать, что для любого количества сим-
волов среднее количество информации на один символ дости-
гает максимума тогда, когда все символы имеют одинаковые
вероятности.
( pH
Энтропия сообщения, составленного из некоторых част-
ных сообщений, равна сумме энтропий: )()()( BHAHABH
+
=
,
так как неопределенность сообщения должна быть больше
неопределенности отдельных сообщений и
АВ
А
В
.
Для оценки прохождения информации через РТС необхо-
димо знать энтропию источника сообщений. Очевидно, что
для правильно работающей РТС энтропия на выходе должна
быть меньше, чем энтропия на входе.
Рассмотрим следующий пример. Пусть связная РТС пере-
дает сообщение в виде русского текста. В русском тексте бук-
вы а, е, о встречаются чаще, чем буквы ф, х, ь, т. е. вероят-
ность появления разных букв различная. Количество
информации, переносимое разными буквами, также различное.
Для решения задач передачи информации необходимо знать
среднее количество информации, приходящееся на одно сооб-
щение. Это среднее количество информации называется энтро-
пией источника и определяется как математическое ожидание:
∑
=
==
m
i
iii
aIapaIM
1
)()()]([)()(log)(
1
AHapap
m
i
ii
∑
=
=
,
где – общее число сообщений; – энтропия источника
сообщений, которая измеряется в бит/сообщениях.
m )(AH
Для источника с зависимыми сообщениями энтропия так-
же вычисляется как математическое ожидание количества ин-
формации этих сообщений. Полученное в этом случае значе-
ние энтропии меньше, чем энтропия источника независимых
сообщений. Это следует из того, что при наличии зависимости
11
    Отсюда
                                         1   1
                 f ( p) max = − p log p = log = 0,531 .
                                         e   e
    Максимальное значение энтропии H ( p) достигается при
равных вероятностях появления двух признаков двоичного
источника. Можно показать, что для любого количества сим-
волов среднее количество информации на один символ дости-
гает максимума тогда, когда все символы имеют одинаковые
вероятности.
    Энтропия сообщения, составленного из некоторых част-
ных сообщений, равна сумме энтропий: H ( AB) = H ( A) + H ( B ) ,
так как неопределенность сообщения АВ должна быть больше
неопределенности отдельных сообщений А и В .
    Для оценки прохождения информации через РТС необхо-
димо знать энтропию источника сообщений. Очевидно, что
для правильно работающей РТС энтропия на выходе должна
быть меньше, чем энтропия на входе.
    Рассмотрим следующий пример. Пусть связная РТС пере-
дает сообщение в виде русского текста. В русском тексте бук-
вы а, е, о встречаются чаще, чем буквы ф, х, ь, т. е. вероят-
ность появления разных букв различная. Количество
информации, переносимое разными буквами, также различное.
Для решения задач передачи информации необходимо знать
среднее количество информации, приходящееся на одно сооб-
щение. Это среднее количество информации называется энтро-
пией источника и определяется как математическое ожидание:
                       m                             m
      M [ I (ai )] =   ∑
                       i =1
                              p ( ai ) I ( ai ) =   ∑ p(a ) log p(a ) = H ( A) ,
                                                    i =1
                                                           i        i



где m – общее число сообщений; H ( A) – энтропия источника
сообщений, которая измеряется в бит/сообщениях.
    Для источника с зависимыми сообщениями энтропия так-
же вычисляется как математическое ожидание количества ин-
формации этих сообщений. Полученное в этом случае значе-
ние энтропии меньше, чем энтропия источника независимых
сообщений. Это следует из того, что при наличии зависимости
                                               11

Страницы