Электронные промышленные устройства. Кузнецов Б.Ф. - 34 стр.

34

ных сообщений (да — нет, включить — выключить, исправно — неисправно). В вычислительной
технике 1 бит обозначает 1 двоичный разряд — символ, принимающий значение 0 или 1. В каче-
стве единицы представления данных в ЭВМ используется байт — слово (набор) из восьми двоич-
ных разрядов (битов). Легко видеть, что байтом можно передать одно из 2 8 = 256 различных сооб-
щений.

От английскогоbinary digit - двоичная единица.

      Пользуясь формулой (1.65), не учитывают, что различные значения дискретного сигнала мо-
гут приниматься им с различными вероятностями. Пусть pi где (i = 1; 2; : : : ; m) - априорные веро-
ятности появления i -гo значения (уровня) сигнала x№i .
      Пусть n1, отсчетов сигнала принимают значение x№  1 , n2отсчетов - значение x  №2 и т. д. Веро-
ятность подобного события:

                                                                  .

      Если общее число отсчетов сигнала                    достаточно велико, то можно положить

n1 = p1n, n2 = p2n, …nm = pm n.
                Qm
      Тогда p =    pipi n .При достаточно большом n можно считать возникающие при этом соче-
                  i= 1
тания равновероятными, т. е. p = 1/ N , откуда получим число возможных сочетаний:

                                                                      .


      Логарифмируя, находим количество информации в сигнале для этого случая:

                                                                                                  (1.66)

      Формула (1.66), впервые предложенная К. Шенноном, дает статистическую оценку количе-
ства информации, содержащейся в и дискретных отсчетах случайного сигнала (дискретного сооб-
щения).
            Клод Элвуд Шеннон — американский математик и электротехник, один из создателей матема-
            тической теории информации, в значительной мере предопределил своими результатами разви-
            тие общей теории дискретных автоматов, которые являются важными составляющими киберне-
            тики.В 1936 году закончил Мичиганский университет. После защиты диссертации (1940) в 1941
            г. поступил на работу в знаменитые Лаборатории Белла. С 1956 г. преподавал в МТИ.В 1948 году
            опубликовал фундаментальную работу A Mathematical Theory of Communication, в которой сфор-
            мулированы основы теории информации. Большую ценность представляет другая работа —
            Communication Theory of Secrecy Systems (1949), в которой сформулированы математические ос-
            новы криптографии.

      Количество информации, приходящееся на один отсчет (элемент) сигнала, называют удель-
ной информативностью или энтропией сигнала:

                                                                                                  (1.67)

       Энтропия является мерой неопределенности исследуемого процесса.Рассмотрим следую-
щие свойства количества информации.
       1.Количество информации в сообщении равно нулюесли это сообщение известно заранее.
Если рассматриваемый сигнал принимает какое-либо значение xk с вероятностью, равной единице
(pk = 1), то для i 6
                   = kимеем pi = 0и в соответствии с (1.66) получаем I = 0. Для того чтобысигнал
содержал информацию, он должен быть принципиально случайным.
       2.Количество информации в сигнале максимально, есливсе его значения равновероятны, т. е.
pi = 1/ m .Если вероятности всех значений сигнала одинаковы, топредсказать поведение сигнала