Составители:
Рубрика:
31
где
() ( ).
pppp
kkkk
fh t y
1
23 4
(1.8)
Для весов между входным и скрытым слоями нужно продиффе"
ренцировать (1.6) по w
jk
, для чего воспользуемся цепным правилом и
получим
() () ()
( ) ,
p
j
pp p pp
ij k k k jk j i
p
ij ij
ppk
j
ppppp
kjk j i ji
pk p
v
EE
wtyfhwfhx
ww
v
wfh x x
1
11
22
345 465456 4
11
1
2
45 7 4 7
888
88 8
(1.9)
где
() .
pp p
jjjkk
k
fh w
1
2 3 2
4
(1.10)
Отметим, что уравнения (1.7) и (1.9) имеют одинаковую форму,
но различаются значениями параметра d. В общем случае при произ"
вольном числе слоев правило изменения весов в методе ОРО имеет
следующий вид:
,
out in
p
wv1234
5
(1.11)
где суммирование производится по всем предъявляемым образам;
выход и вход относятся к двум концам a и b синаптического соедине"
ния; v
in
– активация от скрытой ячейки или реального входа. Значе"
ния d зависят от рассматриваемого слоя: для последнего слоя эта ве"
личина определяется по выражению (1.8), а для других слоев – фор"
мулой, подобной (1.10).
Выражения (1.7) и (1.9), определяющие правила изменения ве"
сов, записаны в виде сумм по предъявляемым образам, однако обыч"
но образы поступают на вход последовательно: образ р предъявляет"
ся на вход, и по окончании прохода «вперед"назад» по сети все веса
изменяются перед предъявлением следующего образа. Это уменьша"
ет функцию ошибок Е на каждом шаге. Если образы выбираются в
случайном порядке, то движение по пространству весов происходит
стохастически, что позволяет более широко исследовать поверхность
ошибок. Альтернативная версия изменения весов («групповое обу"
чение») заключается в минимизации функции ошибки таким обра"
зом, что весовые изменения накапливаются по всем обучающим при"
мерам, и только затем происходит модификация весов.
Страницы
- « первая
- ‹ предыдущая
- …
- 29
- 30
- 31
- 32
- 33
- …
- следующая ›
- последняя »
