Радиотехнические системы передачи информации. Системы связи. Оценка технической эффективности радиотехнических систем передачи информации и систем связи. Бакеев Д.А. - 10 стр.

                                                n
                I ( p) = H ( p) = λ = −        ∑ p log p
                                               i =1
                                                      i       i   .

      Энтропия равна нулю, если одна из вероятностей pi = 1 ,
т. е. когда имеет место полная определенность выбора.
      Наибольшая неопределенность выбора при заданном объ-
еме алфавита n соответствует ситуации, когда априорные ве-
                                        1
роятности всех выборов равны, т. е. pi = . В этом случае
                                        n
                                         n
                                               1          1
             H ( p) = H ( p ) max = −   ∑ n log n = log n .
                                        i =1

    Для источника, выбирающего независимо двоичные сим-
волы с вероятностями p1 и p2 = 1 − p1 , энтропия на один сим-
вол определяется соотношением
             H ( p) = − p1 log p1 − (1 − p1 ) log(1 − p1 ) .
    Анализ функции f = − p log p позволяет оценить влияние
вероятности появления отдельного символа на величину эн-
тропии. При p ≤ 0,1 величина f = − p log p быстро возрастает.
Это означает, что на данном участке даже незначительное
уменьшение вероятности р ведет к резкому уменьшению ве-
личины f = − p log p . Иными словами, при малых значениях
вероятности р те величины, которые входят в выражение эн-
тропии и содержат р , не играют существенной роли и часто
могут быть опущены. Функция f = − p log p принимает наи-
большее значение на интервале 0,2 ≤ f ≤ 0,6 . Это объясняется
тем, что при p = 0,5 неопределенность выбора максимальна.
Максимальное значение функции f = − p log p может быть
найдено при исследовании ее на экстремум:
           ∂                           1               1
             (− p log p ) = − log p − p log e = 0 , p = .
          ∂p                           p               e



                                  10