ВУЗ:
Составители:
124
Под информацией (от лат. informatio — разъяснение, изложение)
понимают любые сведения, передаваемые с помощью каких–либо
сигналов или знаков от одного объекта к другому объекту. При
этом в качестве объектов могут выступать люди, любые живые орга-
низмы или даже отдельные клетки, а также технические устройства.
Как отмечал академик В.М. Глушков: «Информация существует, по-
скольку существуют сами материальные тела и, следовательно, соз-
данные ими неоднородности. Всякая неоднородность несет с собой
какую-то информацию». Таким образом, любое отклонение от хаоса в
сторону структурирования и упорядочения системы повышает ин-
формацию о ней. Поскольку энтропия системы при этом уменьшается,
то австрийский физик Э. Шредингер (1887—1961) предложил считать
информацию величиной, равной энтропии со знаком «минус». Фран-
цузский физик и специалист по теории информации Л. Бриллюэн
(1889—1969) назвал информацию I негэнтропией. Таким образом,
.
~
S
I
∆
−
∆
(14.5)
Всякое сообщение, закодированное какими–либо символами, со-
держит в себе неопределенность, пропорциональную числу возмож-
ных сочетаний из этого набора символов по их позициям, т.е. может
быть охарактеризована некоторым
статистическим весом сообще-
ния. Тогда, при условии равновероятности встречаемости символов,
энтропия сообщения может быть представлена в виде
,1/= ,log
2
WppS
κ
=
(14.6)
где к — коэффициент пропорциональности, который в теории инфор-
мации полагается равным единице (к = 1), а
p
— вероятность появле-
ния символов. С учетом (14.5) последнее выражение можно перепи-
сать в виде
.log
2
pI
−
=
(14.7)
Формула (14.7) была получена одним из основателей теории инфор-
мации американским инженером и математиком К. Шенноном. Лога-
рифм с основанием 2 в (14.6), (14.7) взят из тех соображений, что тех-
нически удобнее использовать двоичные коды, в которых, например,
используются символы 1 и 0. Тогда информация сообщения, связан-
ного с выборкой одного из двух возможных вариантов (например, при
подбрасывании монеты, когда
21
=
ρ
)
(
)
121log
2
=
−
=
I бит (одна едини-
ца информации).
Страницы
- « первая
- ‹ предыдущая
- …
- 122
- 123
- 124
- 125
- 126
- …
- следующая ›
- последняя »
