Составители:
39
ных событий, реализации случайных величин и функций, а количе-
ство информации ставится в зависимость от априорных вероятнос-
тей этих событий, величин, функций.
Исходная постановка задачи определения количества информа-
ции в данном случае может быть сформулирована следующим обра-
зом. Пусть существует некоторое конечное множество независимых
событий
{}
1
,
N
i
Xx=
которые могут наступать с вероятностями P
i
; i = 1(1)N соответственно,
причем множество вероятностей удовлетворяет условию
1
1.
N
i
i
P
=
=
∑
Такое множество событий удобно отождествлять со множеством
состояний физической системы, в каждом из которых она может ока-
заться с определенной вероятностью.
Априорно исходное множество событий X можно характеризовать
присущей ему степенью неопределенности или энтропией, которая
определяется выражением (по Шеннону)
[]
1
log .
N
iai
i
HX P P
=
=−
∑
В зависимости от выбора основания логарифма при вычислении
энтропии получают различные единицы ее измерения. В дальнейшем
будет использоваться только основание, равное двум, поэтому сим-
вол основания в выражениях для энтропии указываться не будет.
Единицей измерения энтропии в этом случае служит бит, т. е. сте-
пень неопределенности системы, имеющей два равновероятных со-
стояния.
О состоянии одной системы можно судить, наблюдая состояния
другой системы.
Пусть имеются две системы X и Y. О состоянии системы X будем
судить, наблюдая систему Y.
Тогда степень неопределенности X определяется условными
энтропиями
Страницы
- « первая
- ‹ предыдущая
- …
- 37
- 38
- 39
- 40
- 41
- …
- следующая ›
- последняя »
