Теоретические основы автоматизированного управления. Файзрахманов Р.А - 69 стр.

                                               η( P) = − P log2 P.                   (14.4)
Формула (14.2) принимает вид:
                                                          n
                                               H ( X ) = ∑η ( Pi ).                  (14.5)
                                                         i =1

     Рассмотрим совместную энтропию статистически независимых ис-
точников сообщений. Пусть имеется два статистически независимых ис-
точника X и Y , причем множество состояний x1 ,.., x n принадлежит источ-
нику X , а y1 ,.., y m – источнику Y . При этом:
                                  n                       m
                                 ∑ P( xi ) = 1;           ∑ P( y j ) = 1.
                                 i =1                    j =1

Если источники X и Y статистически не связаны между собой, то:
                    P{X = xi , Y = y j } = P ( xi , y j ) = P ( xi ) P ( y j ).      (14.6)
Используя (14.2) и (14.3) для энтропии H ( X , Y ) системы с состояниями
( xi , y j ), получим выражение:

        H ( X ,Y ) = −∑∑ P( xi , y j ) log2 P( xi , y j ) =
                           i j

                  = −∑∑ P( xi )P( y j )[log2 P( xi ) + log2 P( y j )] =
                       i j

                  = −∑ P( xi ) log2 P( xi ) −∑ P( y j ) log2 P( y j ) = H ( X ) + H (Y ).
                       i                             j
      Следовательно, совместная энтропия статистически независимых ис-
точников равна сумме энтропий этих источников. Этот вывод распростра-
няется и на большее число статистически независимых источников.
      Рассмотрим условную энтропию статистически зависимых источни-
ков сообщений. Пусть имеется два статистически зависимых источника
сообщений X и Y . Если источники X и Y коррелированны, то это озна-
чает, что между сигналами источников xi , y j существует взаимосвязь, при
которой любому значению, например xi , соответствует значения сигналов
источника Y с условными вероятностями:
                   P ( y1 / xi );...; P ( y j / xi );...; P ( y m / xi ).
     Совокупность условных вероятностей для конкретного значения xi
позволяет определить частную условную энтропию:
                                        m
                   H (Y / xi ) = − ∑ P( y j / xi ) log2 P( y j / xi ),
                                        j =1




                                                                                            69