Основы информатики. Хохлов А.Е. - 19 стр.

изменением степени неосведомленности получателя о состоянии этой
системы.
      Пусть до получения информации потребитель имеет некоторые
предварительные (априорные) сведения о системе α. Мерой его
неосведомленности о системе является функция H(α), которая в то же
время служит и мерой неопределенности состояния системы.
      После получения некоторого сообщения β получатель приобрел
некоторую дополнительную информацию Iβ(α), уменьшившую его
априорную неосведомленность так, что апостериорная (после получения
сообщения β) неопределенность состояния системы стала Hβ(α).
      Тогда количество информации Iβ(α) о системе, полученной в
сообщении β, определится как
                             Iβ(α)= H(α) - Hβ(α),
т.е. количество информации равно уменьшению неопределенности
состояния системы.
      Если конечная неопределенность Hβ(α) обратится в нуль, то
первоначальное неполное знание заменится полным знанием и количество
информации Iβ(α)= H(α). Иными словами, энтропия системы H(α) может
рассматриваться как мера недостающей информации.
      Энтропия системы H(α) имеющая N возможных состояний, согласно
формуле Шеннона, равна:
                                        N
                             H ( α ) = −∑ Pi log Pi
                                        i =1



где Pi - вероятность того, что система находится в i-м состоянии.
      Для случая, когда все состояния системы равновероятны, т.е. их
                         1
вероятности равны Pi =     , ее энтропия определяется соотношением
                         N
                                       N
                                               1     1
                             H (α ) = −∑         log
                                       i =1    N     N
      Часто информация кодируется числовыми кодами в той или иной
системе счисления, особенно это актуально при представлении
информации в компьютере. Естественно, что одно и то же количество
разрядов в разных системах счисления может передать разное число
состояний отображаемого объекта, что можно представить в виде
соотношения
                                    N = mn
где   N - число всевозможных отображаемых состояний;

                                      19