Описание структуры и алгоритмов функционирования информационно-измерительных систем. Чемодаков А.Л. - 8 стр.

UptoLike

ВУЗ: 

МГУ им. Невельского | Владивосток

Составители: 

Рубрика: 

8
2.2.3 Свойства энтропии
1. Энтропия источника информации максимальна, если все поступающие с
него сообщения (выходы источника) равновероятны.
2. Энтропия уменьшается, если имеется зависимость между выходами.
2.2.4 Энтропия объединения
Энтропия системы H(X,Y,…), состоящей из нескольких подсистем,
имеющих энтропии H(X), H(Y), …, равна сумме энтропий, если сообщения
подсистем не зависят друг от друга. Если имеется зависимость, то общая энтропия
меньше суммы энтропий подсистем:
H(X,Y,…) ≤ H(X) + H(Y) +… (2.6)
2.3 Информационная избыточность
Информационная избыточность проявляется в том, что информационное
содержание сообщений оказывается меньше, чем это позволяют средства
представления этих сообщений.
Информационная избыточность может быть обусловлена следующими
факторами.
1. Избыточное число элементов дискретных сигналов по сравнению с
необходимым для представления данных сообщений.
Пример. Для передачи текста используется 8-разрядный двоичный код.
Количество различных символов, используемых
в тексте – 53: 33 буквы, 10
десятичных цифр и 10 вспомогательных знаков (знаки препинания, скобки,
кавычки). Для кодирования всех символов достаточно 6 разрядов кода ( 2
6
= 64). 2
разряда являются лишними. Они и образуют избыточность.
2. Неравновероятность появления отдельных сообщений. Согласно первому
свойству энтропии она при этом уменьшается.
Пример. Пусть источник выдает 4 различных сообщения. Если
сообщения равновероятны, энтропия (см. формулу Хартли) составит 2 бита. При
различных вероятностях сообщений, например, 1/2, 1/4, 1/8, 1/8, энтропия
составит 1¾ бит.
3. Наличие взаимной связи между сообщениями. Это
согласно второму
свойству энтропии также уменьшает энтропию сообщений.
Информационная избыточность оценивается выражением:
R = (Imax – I)/Imax = 1 – I / Imax (3.7) 
     2.2.3 Свойства энтропии
      1. Энтропия источника информации максимальна, если все поступающие с
него сообщения (выходы источника) равновероятны.
      2. Энтропия уменьшается, если имеется зависимость между выходами.

     2.2.4 Энтропия объединения
     Энтропия системы H(X,Y,…), состоящей из нескольких подсистем,
имеющих энтропии H(X), H(Y), …, равна сумме энтропий, если сообщения
подсистем не зависят друг от друга. Если имеется зависимость, то общая энтропия
меньше суммы энтропий подсистем:
                            H(X,Y,…) ≤ H(X) + H(Y) +…                 (2.6)


     2.3 Информационная избыточность

      Информационная избыточность проявляется в том, что информационное
содержание сообщений оказывается меньше, чем это позволяют средства
представления этих сообщений.
      Информационная избыточность может быть обусловлена следующими
факторами.
      1. Избыточное число элементов дискретных сигналов по сравнению с
необходимым для представления данных сообщений.
      Пример. Для передачи текста используется 8-разрядный двоичный код.
Количество различных символов, используемых в тексте – 53: 33 буквы, 10
десятичных цифр и 10 вспомогательных знаков (знаки препинания, скобки,
кавычки). Для кодирования всех символов достаточно 6 разрядов кода ( 26 = 64). 2
разряда являются лишними. Они и образуют избыточность.
      2. Неравновероятность появления отдельных сообщений. Согласно первому
свойству энтропии она при этом уменьшается.
         Пример. Пусть источник выдает 4 различных сообщения. Если
сообщения равновероятны, энтропия (см. формулу Хартли) составит 2 бита. При
различных вероятностях сообщений, например, 1/2, 1/4, 1/8, 1/8, энтропия
составит 1¾ бит.
      3. Наличие взаимной связи между сообщениями. Это согласно второму
свойству энтропии также уменьшает энтропию сообщений.
      Информационная избыточность оценивается выражением:
                       R = (Imax – I)/Imax = 1 – I / Imax             (3.7)
8

Страницы