Информатика. Учебное пособие - 6 стр.

UptoLike

ВУЗ: 

ТГТУ | Тамбов

Составители: 

Рубрика: 

одна из его характеристик (параметр сигнала) принимает конечное число значений, то такой сигнал (как
и само сообщение) называют дискретным. Информация, передаваемая при этом, также будет дискрет-
ной. Если при передаче источник вырабатывает непрерывное сообщение, то в этом случае передаваемая
информация будет непрерывной. Примером дискретного сообщения может быть процесс чтения книги,
информация в котором представлена дискретной последовательностью букв. Примером непрерывного
сообщения – человеческая речь, передаваемая звуковой волной.
Непрерывное сообщение всегда можно преобразовать в дискретное. Процесс такого преобразования
называют дискретизацией.
1.3 ИЗМЕРЕНИЕ ИНФОРМАЦИИ
Разработаны различные способы оценки количества информации. Чаще всего используется способ
оценки, предложенный в 1948 г. основоположником теории информации Клодом Шенноном. Как
было отмечено выше, информация – это снятая неопределенность. Степень неопределенности приня-
то характеризовать с помощью понятия "вероятность".
Вероятность – величина, которая может принимать значения в диапазоне от 0 до 1. Она есть мера
возможности наступления какого-либо события, которое может иметь место в одних случаях и не иметь
места в других. Если событие никогда не может произойти, его вероятность считается равной 0. Если
событие происходит всегда, его вероятность равна 1.
Чем больше вероятность события, тем больше уверенность в том, что оно произойдет, и тем меньше
информации содержит сообщение об этом событии. Если вероятность события мала, то сообщение о
том, что оно случилось, очень информативно.
Количество информации I, характеризующей состояние, в котором пребывает объект, можно опре-
делить, используя формулу Шеннона
I = –(p
1
log
2
p
1
+ p
2
log
2
p
2
+ ... + p
n
log
2
p
n
),
где n – число возможных состояний; p
1
, ..., p
n
– вероятности отдельных состояний; log
2
– функция лога-
рифма при основании 2.
Знак минус перед суммой позволяет получить положительное значение для I, поскольку значение
log
2
p
i
всегда неположительно.
Единица информации называется битом. Термин "бит" предложен как аббревиатура от английского
словосочетания "Binary digiT", которое переводится как "двоичная цифра".
1 бит информации – количество информации, посредством которого выделяется одно из двух рав-
новероятных состояний объекта.
Формула Шеннона может быть использована и для оценки количества информации в непрерывных
величинах.
При оценке количества дискретной информации часто используется также формула Хартли
I = log
2
(n),
где n – число возможных равновероятных состояний; log
2
– функция логарифма при основании 2.
Формула Хартли применяется в случае, когда вероятности состояний, в которых может находиться
объект, одинаковые.
В общем случае справедливо утверждение, что количество информации в сообщении зависит от
числа разнообразий, присущих источнику информации и их вероятностей.
В качестве примера определим количество информации на один знак при двоичном кодировании
(т.е. при использовании алфавита, состоящего из двух знаков 0 и 1). Если считать, что со знаками 0 и 1 в
двоичном алфавите связаны одинаковые вероятности их появления, то
I = log
2
2 = 1 бит.

Страницы