Сети ЭВМ и телекоммуникации. Брейман А.Д. - 33 стр.

и информационная – характеризуют степень разнообразия состояний рассмат-
риваемой системы и описываются аналогичными функциями.

5.2. Свойства энтропии

1. Энтропия является неотрицательной вещественной величиной. Это так, по-
   скольку вероятность лежит в интервале от 0 до 1, ее логарифм отрицателен,
   а значение –pilog pi положительно.
2. Энтропия ограничена сверху значением 1.
3. Энтропия равна 0, только если одно из состояний имеет вероятность, рав-
   ную 1 (полностью определенный источник).
4. Энтропия максимальна, когда все состояния источника равновероятны. При
   этом Hmax(UN) = log2 N.
5. Энтропия источника с двумя состояниями изменяется от 0 до 1, достигая
   максимума при равенстве их вероятностей.
6. Энтропия объединения нескольких независимых источников информации
   равна сумме энтропий исходных источников.
7. Энтропия характеризует среднюю неопределенность выбора одного состоя-
   ния из ансамбля, не учитывая содержательную сторону (семантику) состоя-
   ний.
8. Энтропия как мера неопределенности согласуется с экспериментальными
   психологическими данными. Время безошибочной реакции на последова-
   тельность случайно чередующихся равновероятных раздражителей растет с
   увеличением их числа так же, как энтропия, а при переходе к неравноверо-
   ятным раздражителям, среднее время реакции снижается так же, как энтро-
   пия.

5.3. Единицы количества информации

      Бит – очень мелкая единица измерения количества информации. Более
крупная единица – байт, состоящий из восьми битов. (Восьмибитный байт стал
стандартным только с распространением системы IBM System 360 (ЕС ЭВМ),
до того в разных вычислительных системах использовались байты разного раз-
мера.)
      Применяются и более крупные единицы:
      Килобайт (Кбайт) – 1024 байт – 210 байт
      Мегабайт (Мбайт) – 1024 Кбайт – 220 байт
      Гигабайт (Гбайт) – 1024 Мбайт – 230 байт
      Терабайт (Тбайт) – 1024 Гбайт – 240 байт
      Петабайт (Пбайт) – 1024 Тбайт – 250 байт
      В качестве единицы количества информации можно было бы выбрать ко-
личество информации, содержащееся, например, в выборе одного из десяти
равновероятных сообщений. Такая единица будет называться дит или десятич-
ной единицей.

                                   - 33 -