Информатика и вычислительная техника. Шилов О.И. - 4 стр.

4                                 Основные элементы теории информации


2 Основные элементы теории информации

2.1    Энтропия и количество информации

      Важнейшей объективной характеристикой информации, не зависящей от источника,
приёмника и канала связи, является количество информации. Единица количества инфор-
мации (бит) является такой же фундаментальной единицей, как и метр, килограмм, секунда
и другие (но не относится к физическим единицам).
      1 бит – это количество информации, образующееся в результате проведения опыта,
имеющего два равновероятных несовместных исхода.
      Например: информация, содержащаяся в результате бросания монеты (выпадение од-
ной из двух её сторон: «орла» или «решки») равна 1 биту; вероятности рождения мальчика
или девочки можно считать близкими к 0,5, следовательно, количество информации, соот-
ветствующей рождению именно мальчика (или девочки) равно также одному биту.
      Бит – наименьшая единица информации, на практике применяются более крупные:
байт, килобит, килобайт, мегабайт и другие (см. ниже).
      Рассмотрим определение количества информации в общем случае. Если источник ин-
формации может находиться в одном из n дискретных состояний с вероятностью pi в каждом
из них (i=1, 2, …, n), то в качестве меры неопределённости можно ввести функцию H, назы-
ваемую энтропией. Будем называть каждое возможное состояние источника информации
                                                                                    1
сообщением. Энтропия i-го сообщения, по определению, равна H i = log 2                 = − log 2 pi . Лога-
                                                                                    pi
рифмы берутся здесь по основанию 2 для удобства, чтобы энтропия любого из двух равнове-
роятных и несовместных событий (при p1=p2=0,5) равнялась единице. Очевидно также, что
энтропия достоверного события (pi=1) равна нулю. Наоборот, чем менее вероятно некото-
рое событие, тем больше его энтропия, это и понятно, ведь более редким событиям припи-
сывается большая информационная значимость.
      Энтропией источника называется среднее значение энтропии сообщения:
       n               n
                                       1     n
H = ∑ ( pi ⋅ H i ) = ∑  pi ⋅ log 2  = −∑ ( pi ⋅ log 2 pi ) . Это определение энтропии, предложен-
     i =1            i =1              pi  i =1

ное Клодом Шенноном, считается классическим. Аналогично можно определить энтропию
приёмника информации. Если энтропию приёмника информации до прихода некоторого со-
общения обозначить H0, а значение энтропии после получения сообщения H1, то разность
этих величин H1-H0 (изменение энтропии) будет равна количеству информации, содержа-
                                   n
                                               1      n
щейся в сообщении: Q = ∑  pi ⋅ log 2  = −∑ ( pi ⋅ log 2 pi ) .
                                 i =1         pi    i =1

      Примечание: Для вычисления логарифма по основанию 2 можно использовать тожде-
               ln a
ство log 2 a =       ≈ 1,44 ⋅ ln a .
               ln 2
      Пример: вычислим количество информации (энтропию), образующейся при одном бро-
сании игрального кубика.
      Правильный однородный игральный кубик может упасть равновероятно любой своей
гранью. Таким образом, имеем шесть равновероятных исходов (возможностью кубика встать
на ребро следует пренебречь), n=6. Вероятность каждого из них равна 1/6. Тогда энтропия
любого из результатов бросания кубика равна Hi=-log2(1/6)=log26=ln6/ln2≈2,58 бит.




Методическое пособие по информатике и ВТ