Информационные технологии управления. Бастриков М.В - 7 стр.

     Эту меру неопределённости в теории информации называют энтро-
пией. Если в результате получения сообщения достигается полная ясность
в каком-то вопросе, говорят, что была получена полная или исчерпываю-
щая информация и необходимости в получении дополнительной информа-
ции нет. И, наоборот, если после получения сообщения неопределённость
осталась прежней, значит, информации получено не было (нулевая инфор-
мация).
     Приведённые рассуждения показывают, что между понятиями ин-
формация, неопределённость и возможность выбора существует тесная
связь. Так, любая неопределённость предполагает возможность выбора, а
любая информация, уменьшая неопределённость, уменьшает и возмож-
ность выбора. При полной информации выбора нет. Частичная информа-
ция уменьшает число вариантов выбора, сокращая тем самым неопреде-
лённость.
     Рассмотрим пример. Человек бросает монету и наблюдает, какой
cтopoной она упадёт. Обе стороны монеты равноправны, поэтому одина-
ково вероятно, что выпадет одна или другая сторона. Такой ситуации при-
писывается начальная неопределённость, характеризуемая двумя возмож-
ностями. После того, как монета упадёт, достигается полная ясность, и не-
определённость исчезает (становится равной нулю).
     Приведённый пример относится к группе событий, применительно к
которым может быть поставлен вопрос типа «да-нет».
     Количество информации, которое можно получить при ответе на во-
прос типа «да-нет», называемся битом (англ. bit – сокращённое от binary
digit – двоичная единица).
     Бит – минимальная единица количества информации, ибо получить
информацию меньшую, чем 1 бит, невозможно. При получении ин-
формации в 1 бит неопределенность уменьшается в 2 раза. Таким образом,
каждое бросание монеты дает нам информацию в 1 бит.


                                    8