Теоретические основы автоматизированного управления. Файзрахманов Р.А - 70 стр.

которая характеризует информационные свойства источника Y после того
как стало известно значение xi .
      Усредняя частные условные энтропии по всем значениям xi получа-
ем общую условную энтропию источника Y относительно источника X :
                n                               n m
H (Y / X ) = ∑ P( xi ) H (Y / xi ) = − ∑ ∑ P( xi ) P( y j / xi ) log 2 P( y j / xi ). (14.7)
               i =1                            i =1 j =1

Так как для статистически зависимых сигналов:
                                       P( xi , y j ) = P( xi ) P( y j / xi ),
то
                                            n m
                           H (Y / X ) = − ∑ ∑ P( xi , y j ) log 2 P( y j / xi ).
                                           i =1 j =1

         Величина H (Y / X ) показывает, какой энтропией в среднем обладает
источник Y , если известен источник X .
         Рассмотрим зависимость величины условной энтропии от степени
взаимосвязи между источниками X и Y .
         Если статистическая связь между сигналами источников X и Y от-
сутствует,         то,        сопоставляя       равенство (14.6) с выражением
P ( xi , y j ) = P ( xi ) P ( y j / xi ), получим:
                                         P ( y j ) = P ( y j / xi ).                       (14.8)
     Подставляя равенства (14.6) и (14.8) в выражение (14.7) для условной
энтропии, найдем:
                 n m                                        n          m
 H (Y / X ) = − ∑ ∑ P( xi )P( y j ) log2 P( y j ) = − ∑ P( xi ) ∑ P( y j ) log2 P( y j ) = H (Y ),
                i=1 j =1                                   i=1         j =1

так как
                                                       n
                                                   ∑ P ( xi ) = 1.
                                                   i =1

Таким образом, в рассматриваемом случае:
                                              H (Y / X ) = H (Y ),
т.е. при отсутствии статистической связи между источниками X и Y ус-
ловная энтропия источника Y относительно источника X равна безуслов-
ной энтропии источника Y . Это означает, что всякая информация сигналов
 y j является новой по отношению к сигналам xi .
       При наличии “жесткой” статистической связи между источниками
X и Y возможны только два случая: P( y j / xi ) = 0 или P( y j / xi ) = 1. Так
как при суммировании по j все слагаемые P( y j / xi ) log 2 P( y j / xi ) в выра-
жении для H (Y / X ) превращаются в нуль, то и H (Y / X ) = 0, т.е. при на-


                                                                                                70