Теоретические основы автоматизированного управления. Файзрахманов Р.А - 71 стр.

личии “жесткой” статистической связи между источниками X и Y услов-
ная энтропия источника Y относительно X равна нулю. Это означает, что
сигналы y j никакой новой информации не содержат относительно сигна-
лов xi .
      Рассмотрим взаимосвязь между количеством информации и энтро-
пии передаваемого сообщения. Пусть до приема информации известны
только вероятности P ( x j ) уровней сигналов передаваемого сообщения.
Неопределенность сообщения до его приема можно характеризовать эн-
тропией:
                                         n
                         H ( X ) = − ∑ P( x j ) log 2 P( x j ).
                                        j =1

     При отсутствии помех принятое сообщение полностью соответствует
переданному сообщению, вследствие чего неопределенность H ( X ) после
приема сообщения будет снята, т.е. величина H ( X ) станет равной нулю.
При этом будет получено количество информации I (Y , X ) , равное энтро-
пии H ( X ) .
     Следовательно, количество информации, полученное в процессе пе-
редачи сообщения равно разности энтропий до и после приема сообщения:
                                  I (Y , X ) = H ( X ) − 0.
       При наличии же помех степень неопределенности на приемном кон-
це, т.е. энтропия, не будет равна нулю, так как:
                                   I (Y , X ) ≠ H ( X ).
     Наличие помех, характеризуемое величиной H ( X / Y ) , приведет к
ограничению количества информации, необходимого для полного снятия
неопределенности при приеме сообщения:
                          I (Y , X ) = H ( X ) − H ( X / Y ).
Следовательно, энтропия представляет собой меру неопределенности, а
количество информации – меру снятия неопределенности при приеме со-
общения.
     Определим совместную энтропию статистически зависимых источ-
ников сообщений. Пусть имеется два коррелированных источника X и Y ,
каждому из которых соответственно принадлежат множества сигналов xi и
yj :
                  n                     m

                 ∑ P( xi ) = 1;
                 i =1
                                       ∑ P( y
                                        j =1
                                                 j   ) = 1.

Если число возможных парных совмещений сигналов составит nm, то эн-
тропия в совокупности возможных совмещений сигналов:



                                                                      71