Составители:
11
входе то, с точки зрения Шеннона, это означает отсутствие энтропии.
Отсутствие шума означает максимум информации (хотя это гипотетическая
ситуация, т. к. некоторый шум реально присутствует всегда). Взаимосвязь
энтропии и информации нашла отражение в формуле
H + Y = 1,
где Н – энтропия (Шеннона), Y – информация. Для расчета энтропии
Шеннон предложил уравнение, напоминающее классическое выражение
энтропии, найденное
Больцманом:
H = ∑P
i
log
2
1/P
i
= -∑P
i
log
2
P
i
,
где Н – энтропия (Шеннона), P
i
- вероятность некоторого события.
Энтропия Шеннона количественно характеризует достоверность
передаваемого сигнала и используется для расчета количества информации.
Дальнейшее развитие идеи о связи информации и энтропии мы находим
у Леона Бриллюэна. За универсальную меру количества информации
Бриллюэн принял величину
I = k lnP,
где Р - вероятность осуществления некоторого события или “сложность
устройства” какого-либо объекта
, k - постоянная, величина которой зависит
от выбора системы единиц измерения, ln - натуральный логарифм. Далее Л.
Бриллюэн обратил особое внимание на сходство указанной формулы с
формулой Л. Больцмана для исчисления количества энтропии
S = k lnW,
где W - число микросостояний некоторой системы, соответствующей ее
макросостоянию, а k - “постоянная Больцмана”, равная 1,4·10-16 эрг-град-1
или 3,3·10-24 энтропийных единиц (1 э.е. = 1 кал'
град-1). Отсюда Л.
Бриллюэн сделал вывод, что, приняв k = 3,3·10-24 э.е., мы получим
возможность выражать количество информации в энтропийных единицах (1
бит = 2,3·10-24 э.е.), а величину энтропии, напротив, в единицах
информационных (1 э.е. = 4,3·1023 бит). Затем он сделал последний шаг в
построении “негэнтропийного принципа”: сформулировал утверждение,
согласно которому информация – это не что иное, как
энтропия с обратным
знаком, или негэнтропия (вспомним знак «минус» в основополагающей
формуле Шеннона).
И из теории Шеннона, и из построений Бриллюэна следует, что
энтропия и информация противоположны. Чем больше энтропии, тем
меньше информации, и наоборот. Но, поскольку, рост энтропии ведет к
росту неопределенности и к хаотизации, постольку увеличение информации
Страницы
- « первая
- ‹ предыдущая
- …
- 10
- 11
- 12
- 13
- 14
- …
- следующая ›
- последняя »
