Информатика. Учебное пособие. Терехов А.В - 7 стр.

UptoLike

ВУЗ: 

ТГТУ | Тамбов

Составители: 

Рубрика: 

Устойчивость информации отражает ее способность реагировать на изменения исходных данных без нарушения
необходимой точности. Устойчивость информации определяется выбранной методикой ее отбора и формирования.
Достаточность (полнота) информации означает, что она содержит минимально необходимый объем сведений для
принятия правильного решения. Неполная информация (недостаточная для принятия правильного решения) снижает
эффективность принимаемых пользователем решений. Избыточность обычно снижает оперативность и затрудняет принятие
решения, но зато делает информацию более устойчивой.
При передаче информации от источника к получателю используется некоторый носитель информации. Сообщение,
передаваемое с помощью носителя, называют сигналом. Если при передаче сигнала одна из его характеристик (параметр
сигнала) принимает конечное число значений, то такой сигнал (как и само сообщение) называют дискретным. Информация,
передаваемая при этом, также будет дискретной. Если при передаче источник вырабатывает непрерывное сообщение, то в
этом случае передаваемая информация будет непрерывной. Примером дискретного сообщения может быть процесс чтения
книги, информация в котором представлена дискретной последовательностью букв. Примером непрерывного сообщения –
человеческая речь, передаваемая звуковой волной.
Непрерывное сообщение всегда можно преобразовать в дискретное. Процесс такого преобразования называют
дискретизацией.
1.3. ИЗМЕРЕНИЕ ИНФОРМАЦИИ
Разработаны различные способы оценки количества информации. Чаще всего используется способ оценки, предложенный в 1948 г.
основоположником теории информации Клодом Шенноном. Как было отмечено выше, информация – это снятая неопределенность.
Степень неопределенности принято характеризовать с помощью понятия «вероятность».
Вероятность – величина, которая может принимать значения в диапазоне от 0 до 1. Она есть мера возможности
наступления какого-либо события, которое может иметь место в одних случаях и не иметь места в других. Если событие
никогда не может произойти, его вероятность считается равной 0. Если событие происходит всегда, его вероятность равна 1.
Чем больше вероятность события, тем больше уверенность в том, что оно произойдет, и тем меньше информации
содержит сообщение об этом событии. Если вероятность события мала, то сообщение о том, что оно случилось, очень
информативно.
Количество информации I, характеризующей состояние, в котором пребывает объект, можно определить, используя
формулу Шеннона
I = –(p
1
log
2
p
1
+ p
2
log
2
p
2
+ ... + p
n
log
2
p
n
),
где n – число возможных состояний; p
1
, ..., p
n
– вероятности отдельных состояний; log
2
– функция логарифма при основании
2.
Знак минус перед суммой позволяет получить положительное значение для I, поскольку значение log
2
p
i
всегда
неположительно.
Единица информации называется битом. Термин «бит» предложен как аббревиатура от английского словосочетания
«Binary digiT», которое переводится как «двоичная цифра».
1 бит информации – количество информации, посредством которого выделяется одно из двух равновероятных
состояний объекта.
Формула Шеннона может быть использована и для оценки количества информации в непрерывных величинах.
При оценке количества дискретной информации часто используется также формула Хартли
I = log
2
(n),
где n – число возможных равновероятных состояний; log
2
– функция логарифма при основании 2.
Формула Хартли применяется в случае, когда вероятности состояний, в которых может находиться объект, одинаковые.
В общем случае справедливо утверждение, что количество информации в сообщении зависит от числа разнообразий,
присущих источнику информации и их вероятностей.
В качестве примера определим количество информации на один знак при двоичном кодировании (т.е. при
использовании алфавита, состоящего из двух знаков 0 и 1). Если считать, что со знаками 0 и 1 в двоичном алфавите связаны
одинаковые вероятности их появления, то
I = log
2
2 = 1 бит.
Таким образом, количество информации (в битах), заключенное в двоичном слове, равно числу двоичных знаков в нем.
В вычислительной технике при определении количества информации чаще используется объемный подход, суть
которого в следующем.
Как уже было отмечено, в двоичной системе счисления знаки 0 и 1 называют битами (от английского выражения Binary
digiTs – двоичные цифры). Создатели компьютеров отдают предпочтение именно двоичной системе счисления потому, что в
техническом устройстве наиболее просто реализовать два противоположных физических состояния (некоторый физический
элемент, имеющий два различных состояния: намагниченность в двух противоположных направлениях; прибор,
пропускающий или нет электрический ток; конденсатор, заряженный или незаряженный и т.п.). В компьютере бит является
наименьшей возможной единицей информации. Объем информации, записанной двоичными знаками в памяти компьютера
или на внешнем носителе информации подсчитывается просто по количеству требуемых для такой записи двоичных
символов. При этом, в частности, невозможно нецелое число битов (в отличие от вероятностного подхода).
Итак, если у нас есть один бит, то с его помощью мы можем закодировать один из двух символов – либо 0, либо 1.
Если же есть 2 бита, то из них можно составить один из четырех вариантов кодов: 00, 01, 10, 11 .
Если есть 3 бита – один из восьми: 000, 001, 010, 100, 110, 101, 011, 111.

Страницы