Теоретические основы автоматизированного управления. Файзрахманов Р.А - 68 стр.

полученные о системе, будут тем ценнее о содержательнее, чем больше
была неопределенность системы до получения этих сведений. Возникает
вопрос: что значит “большая” или “меньшая” степень неопределенности и
чем можно ее измерить.
     Степень неопределенности физической системы определяется не
только числом ее возможных состояний, но и вероятностями состояний.
     Рассмотрим некоторую систему X , которая может принимать ко-
нечное множество состояний: x1 , x2 ,..., xn с вероятностями P1 , P2 ,..., Pn , где
                                      Pi = P ( X = xi )                     (14.1)
– вероятность того, что система X примет состояние xi .
      В качестве меры неопределенности системы в теории информации
применяется специальная характеристика, называемая энтропией. Понятие
об энтропии является в теории информации основным.
      Энтропией системы называется сумма произведений вероятностей
различных состояний системы на логарифм этих вероятностей, взятая с
обратным знаком:
                                               n
                                  H ( X ) = − ∑ Pi log 2 Pi .               (14.2)
                                              i =1

      Энтропия H ( X ) обладает рядом свойств, оправдывающих ее выбор
в качестве характеристики степени неопределенности. Во-первых, она об-
ращается в нуль, когда одно из состояний системы достоверно, а другие –
невозможны. Во-вторых, при заданном числе состояний она обращается в
максимум, когда эти состояния равновероятны, а при увеличении числа
состояний – увеличивается.
           Измерим энтропию системы X , которая имеет n равновероят-
ностных состояний:

                  xi         x1          x2          ….         xn
                 Pi          1           1           ….         1
                             n           n                      n

Имеем:
                                      1       1
                       H ( X ) = − n ⋅ ⋅ log 2 = − log 2 1 + log 2 n .
                                      n       n
или
                                        H ( X ) = log 2 n,                  (14.3)
т.е. энтропия системы с равновозможными состояниями равна логарифму
числа состояний.
       Вычисление энтропии по формуле (14.2) можно несколько упро-
стить, если ввести в рассмотрение специальную функцию:


                                                                                68