Информатика и вычислительная техника. Шилов О.И. - 5 стр.

                          Основные элементы теории информации                            5
2.2    Понятие о теореме Шеннона

      Скорость передачи информации по каналу связи равна количеству информации, пе-
                                   ∆Q
редаваемой в единицу времени: I =      . Скорость передачи измеряется в битах в секунду
                                   ∆t
или в бодах (1 бит/с=1 бод). Максимальная скорость передачи информации называется про-
                                           ∆Qmax
пускной способностью канала связи: I max =         .
                                             ∆t
      Пусть источник с энтропией H передаёт эту информацию за время ∆t по каналу с про-
                                          H
пускной способностью Imax. Тогда, если       ≤ I max , то это количество информации может
                                          ∆t
                                                H
быть передано без искажений. Если, наоборот,        > I max , то передача информации без иска-
                                                ∆t
жений невозможна. Это довольно ясное утверждение называется теоремой Шеннона (пер-
вой). Она накладывает ограничение на максимальную скорость передачи информации.


2.3    Кодирование информации

      Любое сообщение, как уже говорилось, может быть представлено в различной форме,
то есть закодировано различными способами. Разные способы кодирования неравноценны по
используемому ими количеству информации. Оптимальным кодом будет тот, при исполь-
зовании которого среднее значение энтропии, приходящееся на один символ, равно энтропии
источника информации.
      В большинстве случаев используемые системы кодирования обладают избыточно-
стью, то есть требуют для записи большее количество информации, чем оно содержится в
                                                                     H
кодируемом сообщении. Избыточность определяется формулой E = 1 − , где H – средняя
                                                                     Q
(удельная) энтропия сообщения, Q – среднее количество информации, приходящееся на один
символ кодированного сообщения. Чем выше избыточность кода, тем больше вероятность
безошибочной передачи информации, но тем больший объём требуется для её хранения и
большая пропускная способность канала передачи. Естественные человеческие языки харак-
теризуются очень высокой степенью избыточности, также велика избыточность генома выс-
ших организмов, хранящегося в молекулах ДНК.
                H                                                           H
      Величина     называется экономичностью кода. Для оптимального кода       = 1 , а из-
                Q                                                           Q
быточность отсутствует, то есть E=0. Процесс уменьшения избыточности кодирования назы-
вается сжатием информации и применяется для понижения объёма памяти, требуемой для
хранения информации.
       Для сжатия информации, хранящейся в памяти ЭВМ, используются специальные про-
граммы – архиваторы и упаковщики.

       Пример: определить энтропию информации, содержащейся в сообщении «ученье –
свет, а не ученье – тьма» и избыточность кода. Каждый символ в сообщении кодируется 1
байтом (8 бит).
       Решение: Подсчитаем количество символов в сообщении, для простоты игнорируя
пробелы: n=26. Найдём частоту повторения каждого символа (вероятность в сообщении), со-
ставив следующую таблицу:



© 1999-2005 О. И. Шилов