Электронные промышленные устройства. Кузнецов Б.Ф. - 33 стр.

                                                                                                   33

                                 1.6. КОДЫ И КОДИРОВАНИЕ

                         Ключевые понятия раздела
                           Понятие количества информации. Мера количества информации Хартли. Мера
                           количества информации Шеннона. Свойства количества информации. Кодиро-
                           вание сигналов, основание кода. Двоичный позиционный код. Код Грея. Помехо-
                           защищеные коды. Кодовое расстояние. Код Хемминга.

                 1.6.1. Количественное измерение информации в сигнале

      Рассмотрим вопрос о количественном измерении информации, доставляемой сигналом. Как
уже говорилось, реальный (случайный) сигнал можно заменить его упрощенной дискретной моде-
лью, согласно которой существенными (информативными) считаются лишь те его значения, кото-
                                                   рые соответствуют ближайшим узлам ре-
                                                   шетки (сетки), полученной в результате
                                                   дискретизации сигнала по времени и
                                                   уровню (рис. 1.21).
                                                          Если сигнал имеет конечную дли-
                                                   тельностьТ, то число его дискретных отсче-
                                                   тов во времени можно приближенно оце-
                                                   нить с помощью теоремы Котельникова:



                                                     здесь F m ax — максимальная частота в
                                                     спектре сигнала x (t). Число уровней сиг-
           Рис. 1.21. Дискретизация сигнала          нала x (t)определяют соотношением (1.63),
                                                     где шаг квантования ў xопределяется тре-
                                                     буемой точностью обработки информации.
      Полагая, что количество информации, которое можно перенести сигналом, будет тем боль-
ше, чем больше числовозможных сообщений (комбинаций сигнала), дадим оценку числу таких
сообщений в рассматриваемом случае. Так как в каждый дискретный момент времени сигнал мо-
жет принимать одно из mзначений, то с помощью двух соседних отсчетов сигнала можно передать
уже m2различных сообщений, за три отсчета - m3сообщений и т. д. В общем случае число различ-
ных комбинаций сигнала за время T = nў t составляет          . Полученное таким образом число
N дает комбинаторную оценку информации, содержащейся в произвольном дискретном сообще-
нии (слове) из nэлементов (букв), каждая из которых принимает одно из т возможных значений,
составляющих вместе некоторый алфавит.
Так, с помощью двухразрядного десятичного числа можно записать 100 различных чисел от 0
до 99. При средней длине слова в русском языке n = 5 и алфавите с m = 32буквами можно
составить 33.5 миллиона различных слов.

      Вместе с тем использование N в качестве меры информации неудобно, так как в данном
случае не выполняется условие аддитивности, т. е. пропорциональности между длиной слова (дли-
тельностью сигнала) и количеством содержащейся в ней информации. Между тем удвоение време-
ни передачи должно приводить к удвоению количества передаваемой информации.
      Р. Хартли предложил в качестве меры количества информации использовать логарифм числа
возможных сообщений:
                                                                                                (1.65)
       Согласно (1.65), количество информации в сигнале пропорционально длительности сигнала
(числу отсчетов n). Выбор основания логарифмаа влияет лишь на размерность, т. е. на единицу
измерения количества информации. Наиболее часто принимается a = 2, при этом значение измеря-
ется в битах.1 бит — это количество информации, соответствующее одному из двух равновозмож-