Электронные промышленные устройства. Кузнецов Б.Ф. - 35 стр.

                                                                                                35

практически невозможно.Неопределенность ситуации велика, поэтому каждый следующий отсчет,
снимая неопределенность, несет большуюинформацию. Если же какое-то из значений сигналасу-
щественно преобладает, можно с большим успехом предсказать дальнейшее поведение сигнала.
Вероятность ошибкитакого предсказания мала.
       Если все значения сигнала равновероятны, то формулы (1.65) и (1.66) совпадают: подставляя
pi = 1/ m в (1.66), находим:

                                                                  .

      Это означает, что формула Хартли дает верхнюю оценку для количества информации, со-
держащейся в сигнале с неравномерным распределением значений.
      3.Количество информации, получаемой при измерениинепрерывногосигнала x (t), можно
найти по формуле:

                                                                                             (1.68)

где p(x)-плотность вероятности случайного (стационарного) процесса x (t); n - число измерений
(отсчетов); ў x -погрешность измерения.
       Формулу (1.68) нетрудно получить из общей формулы Шеннона, определяя через
                                                                       №i с точностью до заданной
          i ) ў x вероятность того, что x принимает некоторое значение x
pi = f ( x№
погрешности ў x. Тогда из (1.66) находим:



откуда, совершая предельный переход при ў x ! 0, приходим к (1.68). Первое слагаемое в (1.68)
учитывает закон распределения случайного процесса x (t), второе - характеризует возрастание не-
определенности сообщения при уменьшении ў x. Устремляя ў x и ў t к нулю (т. е. увеличивая mи
n), получаем I ! 1 . Это свидетельствует о том, что невозможно абсолютно точно измерить лю-
бой физический процесс, так как при этом требуется бесконечно большая информация.
      4. Допустим, что в процессе передачи на сигнал ў xнакладывается помеха » (t)так, что на
вход приемника поступает искаженный сигнал y (t) = x (t) + »(t). В этом случае помеху называют
аддитивной, а количество информации в полученном сигнале определяется выражением:

                                                                                   ,

где p(x)и p(y)-плотности вероятностей для рассматриваемых случайных процессов x (t) и y (t);
p(x; y)-плотность совместного распределения x и y ; n - число отсчетов.
       Предполагается, что полезный сигнал на интервале наблюдения [0; T] можно рассматривать
как стационарный случайный процесс (это же допущение относится и к помехе). Если передача
информации через канал осуществляется сигналами с ограниченной средней мощностью, а помеха
» (t)представляет собой белый гауссов шум, то максимальное количество информации, которое
можно передать по каналу, соответствует нормальному закону распределения x (t):



где F m ax - максимальнаячастота в спектре функции x (t); T - длительность сигнала; Ps ; Pc - соот-
ветственно средняя мощность сигнала x (t) и помехи » (t). В частном случае, когда Ps ї Pc (т. е.
полезный сигнал забит помехой), из формулы (1.69) следует I (x; y) ј 0. Когда уровень полезного
сигнала превышает интенсивность помех(Ps > Pc )количество информации в сигнале подсчитыва-
ют согласно выражению I = F max T B , где B = log2 (Ps / Pc ) - превышение сигнала над помехой.
Следовательно, увеличение количества информации, переносимой сигналом, возможно за счет