ВУЗ:
Составители:
Рубрика:
39
если ранее с помощью формулы, аналогичной (4), определено значение
p(A
i
/B
qw
).
Рассмотрим использование формулы Байеса на упрощённом приме-
ре, в котором каждая переменная имеет по два дискретных значения, а
входных переменных две. Положим, что вероятности значений выходной
переменной x
0
до получения информации о входных переменных отличают-
ся лишь немного: p(x
0
=1)=0,55, p(x
0
=2)=0,45. Заданы следующие условные
вероятности (вертикальную черту следует читать как «при условии, что»):
¨ p(x
1
=1|x
0
=1) = 0,5;
¨ p(x
1
=2|x
0
=1) = 0,5;
¨ p(x
1
=1|x
0
=2) = 0,2;
¨ p(x
1
=2|x
0
=2) = 0,8;
¨ p(x
2
=1|x
0
=1) = 0,1;
¨ p(x
2
=2|x
0
=1) = 0,9;
¨ p(x
2
=1|x
0
=2) = 0,8;
¨ p(x
2
=2|x
0
=2) = 0,2.
Положим, что поступила информация о значении второй входной
переменной: x
2
=1. Согласно формуле (4), вероятность события x
0
=1|x
2
=1
составит
0,550,1
0,1325.
0,550,10,450,8
×
=
×+×
Вероятность события x
0
=2|x
2
=1 составит
0,450,8
0,8675.
0,550,10,450,8
×
=
×+×
Как и следует, сумма этих двух вероятностей равна единице.
Теперь положим, что в дополнение к уже имеющейся информации о
второй переменной поступила информация ещё и о первой: x
1
=2. Согласно
формуле (5), вероятность события x
0
=1|(x
2
=1 U x
1
=2) равна
0,13250,5
0,0871.
0,13250,50,86750,8
×
=
×+×
Вероятность события x
0
=2|(x
2
=1 U x
1
=2) составит
0,86750,8
0,9129.
0,13250,50,86750,8
×
=
×+×
Как и следует, сумма этих двух вероятностей равна единице.
40
Итак, если энтропия переменной x
0
до получения информации со-
ставляла –0,45·log
2
0,45 – 0,55·log
2
0,55 = 0,9928 бит, то после получения
первого сигнала она стала равна 0,5643 бит, а после второго сократилась
до 0,4267 бит.
На практике поступление новой информации может не только сни-
жать, но и увеличивать энтропию.
В общем случае для определения вероятности i-го значения выход-
ной переменной формулу Байеса применяют ровно столько раз, сколько
имеется известных значений входных переменных.
Вероятности значений выходных переменных более высоких уров-
ней при заданных значениях переменных низшего уровня определяются по
формуле средней взвешенной
p(C
k
/B) =
å
i=1
m
p(C
k
/D
i
) p(D
i
/B), (7)
где B — сочетание значений входных переменных низшего уровня; D
i
—
сочетание значений входных переменных данного уровня; p(C
k
/B) — ве-
роятность k-го значения выходной переменной при условии, что имеет ме-
сто сочетание B; p(C
k
/D
i
) — вероятность k-го значения выходной пере-
менной при условии, что имеет место сочетание D
i
(эта вероятность опре-
деляется последовательным применением формулы Байеса); p(D
i
/B) —
вероятность сочетания D
i
при условии, что имеет место сочетание B (рав-
на произведению вероятностей вошедших в сочетание D
i
значений пере-
менных данного уровня при условии, что имеет место сочетание B), m —
число сочетаний значений входных переменных данного уровня.
Рассмотрим числовой пример применения этой формулы. Пусть в
вышеприведённом примере информация об x
1
не поступила, и для её оце-
нивания была использована модель второго уровня, которая дала следую-
щие результаты: p(x
1
=1)=0,3, p(x
1
=2)=0,7. Тогда в соответствии с форму-
лой (7) нам следует определить величину
p(x
0
=1|(x
2
=1 U x
1
=1))·0,3 + p(x
0
=1|(x
2
=1 U x
1
=2))·0,7
Второе слагаемое, как следует из расчётов величины
p(x
0
=1|(x
2
=1 U x
1
=2)), проведённых выше, составляет 0,0871·0,7. Для пер-
вого слагаемого нужно заново вычислить p(x
0
=1|(x
2
=1 U x
1
=1)) по форму-
ле Байеса, пользуясь уже определённым ранее значением p(x
0
=1|x
2
=1).
если ранее с помощью формулы, аналогичной (4), определено значение Итак, если энтропия переменной x0 до получения информации со-
p(Ai /Bqw). ставляла –0,45·log2 0,45 – 0,55·log2 0,55 = 0,9928 бит, то после получения
Рассмотрим использование формулы Байеса на упрощённом приме- первого сигнала она стала равна 0,5643 бит, а после второго сократилась
ре, в котором каждая переменная имеет по два дискретных значения, а до 0,4267 бит.
входных переменных две. Положим, что вероятности значений выходной На практике поступление новой информации может не только сни-
переменной x0 до получения информации о входных переменных отличают- жать, но и увеличивать энтропию.
ся лишь немного: p(x0=1)=0,55, p(x0=2)=0,45. Заданы следующие условные В общем случае для определения вероятности i-го значения выход-
вероятности (вертикальную черту следует читать как «при условии, что»): ной переменной формулу Байеса применяют ровно столько раз, сколько
¨ p(x1=1|x0=1) = 0,5; имеется известных значений входных переменных.
¨ p(x1=2|x0=1) = 0,5; Вероятности значений выходных переменных более высоких уров-
¨ p(x1=1|x0=2) = 0,2; ней при заданных значениях переменных низшего уровня определяются по
¨ p(x1=2|x0=2) = 0,8; формуле средней взвешенной
¨ p(x2=1|x0=1) = 0,1; m
¨ p(x2=2|x0=1) = 0,9; p(Ck /B) = åp(Ck /Di) p(Di /B), (7)
¨ p(x2=1|x0=2) = 0,8; i=1
¨ p(x2=2|x0=2) = 0,2. где B — сочетание значений входных переменных низшего уровня; Di —
Положим, что поступила информация о значении второй входной сочетание значений входных переменных данного уровня; p(Ck /B) — ве-
переменной: x2=1. Согласно формуле (4), вероятность события x0=1|x2=1 роятность k-го значения выходной переменной при условии, что имеет ме-
составит сто сочетание B; p(Ck /Di) — вероятность k-го значения выходной пере-
0,55 × 0,1 менной при условии, что имеет место сочетание Di (эта вероятность опре-
= 0,1325. деляется последовательным применением формулы Байеса); p(Di /B) —
0,55 × 0,1 + 0,45 × 0,8
вероятность сочетания Di при условии, что имеет место сочетание B (рав-
Вероятность события x0=2|x2=1 составит
на произведению вероятностей вошедших в сочетание Di значений пере-
0,45 × 0,8 менных данного уровня при условии, что имеет место сочетание B), m —
= 0,8675.
0,55 × 0,1 + 0,45 × 0,8 число сочетаний значений входных переменных данного уровня.
Как и следует, сумма этих двух вероятностей равна единице. Рассмотрим числовой пример применения этой формулы. Пусть в
вышеприведённом примере информация об x1 не поступила, и для её оце-
Теперь положим, что в дополнение к уже имеющейся информации о
второй переменной поступила информация ещё и о первой: x1=2. Согласно нивания была использована модель второго уровня, которая дала следую-
щие результаты: p(x1=1)=0,3, p(x1=2)=0,7. Тогда в соответствии с форму-
формуле (5), вероятность события x0=1|(x2=1 U x1=2) равна
лой (7) нам следует определить величину
0,1325 × 0,5
= 0,0871. p(x0=1|(x2=1 U x1=1))·0,3 + p(x0=1|(x2=1 U x1=2))·0,7
0,1325 × 0,5 + 0,8675 × 0,8
Второе слагаемое, как следует из расчётов величины
Вероятность события x0=2|(x2=1 U x1=2) составит
p(x0=1|(x2=1 U x1=2)), проведённых выше, составляет 0,0871·0,7. Для пер-
0,8675 × 0,8
= 0,9129. вого слагаемого нужно заново вычислить p(x0=1|(x2=1 U x1=1)) по форму-
0,1325 × 0,5 + 0,8675 × 0,8
ле Байеса, пользуясь уже определённым ранее значением p(x0=1|x2=1).
Как и следует, сумма этих двух вероятностей равна единице.
39 40
Страницы
- « первая
- ‹ предыдущая
- …
- 18
- 19
- 20
- 21
- 22
- …
- следующая ›
- последняя »
