Сети ЭВМ и телекоммуникации. Брейман А.Д. - 32 стр.

та и множества вероятностей состояний – ансамблем UN = {u1, p1, u2, p2, …, uN,
pN}. Разумеется, сумма вероятностей всех состояний должна быть равна 1.
      Введем меру неопределенности состояния источника H(U), удовлетво-
ряющую следующим условиям:
- монотонность: мера должна монотонно возрастать с ростом количества воз-
   можных состояний.
- аддитивность: мера, вычисленная для сложного источника, состоящего из
   двух независимых источников (с размерами алфавитов N и M, тогда размер
   алфавита сложного источника -– NM), должна равняться сумме мер этих
   двух источников. Согласно условию аддитивности, мера должна удовлетво-
   рять соотношению H(UNM) = H(UM)+H(UN).
      Кроме того, существует граничное условие: мера неопределенности для
источника с размером алфавита 1 должна равняться 0.
      Можно показать, что этим условиям удовлетворяет логарифмическая
функция (с произвольным основанием).
      Для источника с алфавитом размера N и равновероятными состояниями
(pi=1/N для любого i) логарифмическая мера была предложена Р.Хартли в 1928
году и имеет вид: H(UN) = log(N). Предположение о равновероятности состоя-
ний источника информации называется моделью Хартли. Если основание лога-
рифма выбрать равным двум, соответствующая единица неопределенности бу-
дет соответствовать неопределенности выбора из двух равновероятных собы-
тий и называться двоичной единицей или битом (от англ. bit, сокращенного
binary digit – двоичная единица).
      Модели Хартли недостает учета вероятностей состояний. Если, например,
источник имеет два возможных состояния с вероятностями 0.999 и 0.001. Ясно,
что мера неопределенности такого источника должна быть меньше 1 бита: есть
большая уверенность в выборе первого состояния. Если вероятности состояний
отличаются незначительно (например, 0.51 и 0.49), то и мера неопределенности
должна измениться незначительно по сравнению с равновероятным случаем.
      Таким образом, мера неопределенности должна зависеть от вероятностей
состояний источника, от всего ансамбля. Такая модель источника информации
называется моделью Шеннона. Мера неопределенности выбора дискретным ис-
точником состояния из ансамбля UN называется энтропией дискретного ис-
точника информации или энтропией конечного ансамбля:
                     N
       H(U N ) = −C∑ p i log p i
                    i =1
      где C – произвольное положительное число.
      При равновероятности состояний источника мера Шеннона сводится к
мере Хартли.
      Доказано, что приведенная функция – единственная, удовлетворяющая
всем перечисленным условиям.
      Термин “энтропия” был заимствован из термодинамики и использован
для меры неопределенности из-за того, что обе энтропии – термодинамическая


                                    - 32 -