Описание структуры и алгоритмов функционирования информационно-измерительных систем. Чемодаков А.Л. - 6 стр.

Действительно, один разряд может принимать одно из двух значений : 0 и 1, т. е.
N = 2. Тогда I = log 2 2 = 1бит.
    Формула Хартли справедлива только тогда, когда каждое из N сообщений
появляется с равной вероятностью. Дело в том, что информацию несет только
сообщение, заранее не известное приемнику этого сообщения. Количество
информации в достоверном (т. е. в заранее известном сообщении), равно нулю.
    В общем случае количество информации, содержащейся в одном сообщении,
зависит от вероятности появления этого сообщения:
                            Ii = log 2 ( 1/ pi ) [бит]                 (2.2)
    где pi – вероятность появления i – го сообщения.
     Из приведенной формулы видно, что чем менее вероятно полученное
сообщение, тем больше информации оно несет. Если закон распределения
значений измеряемого параметра (в диапазоне изменения этого параметра) не
является равновероятным, получаемые в процессе измерений результаты будут
нести различное количество информации.


    2.2 Энтропия

     2.2.1 Энтропия источника дискретных сообщений
     Для информационной оценки системы “исследуемый объект – средство
измерения” в теории информации введено понятие энтропии. Энтропия – это
среднее количество информации, приходящейся на одно сообщение.
     Для получения формулы, позволяющей определить энтропию, рассмотрим
источник информации, который может выдавать N независимых дискретных
сообщений с вероятностями p1, p2, ..., pi, ..., pN. Рассмотрим длинную
последовательность из m сообщений ( m >> N ). В соответствии с теорией
вероятности каждое i – тое сообщение появится в такой последовательности m * pi
раз. С учетом того, что каждое i – тое сообщение несет информацию I1i = log 2 1/pi
= – log pi , все полученные i –тые сообщения дадут информацию Imi = – m*pi*log2
pi . Общая информация от всех m сообщений будет равна Im = – m* Σpi *log 2pi .
Среднее количество информации, приходящееся на одно сообщение, т. е.
энтропия источника, будет:

                        H = Im / m = – Σ pi * log 2 pi [бит]           (2.3)
    Эта формула получила название формулы Шеннона.


6