Составители:
Рубрика:
30
ошибка между требуемыми выходными t
k
и действительными выход"
ными y
k
сигналами, усредненная по всем обучающим примерам, была
бы минимальна (возможно нулевая). При предъявлении образа р на
вход сети скрытая ячейка j принимает сигнал:
pp
jiji
i
hwx1
2
и на своем выходе с помощью функции активации вырабатывает та"
кой сигнал:
() ( ).
pp p
jj iji
i
vfh fwx11
2
Выходная ячейка с номером k суммирует сигналы от нейронов скры"
того слоя, образуя сигнал, равный
(),
pp p
kjkj jkiji
jji
hwvwfwx11
222
и после воздействия функции активации формирует выходной сиг"
нал:
() ( ) [ ( )].
pp p p
kk jkj jk iji
jji
yfh fwv fwfwx11 1
222
Для упрощения записи здесь пороговые значения отброшены; они
всегда могут быть введены в сеть.
В качестве функции ошибок примем функцию вида:
2
[] 0,5 ( ),
pp
kk
pk
Ew t y1 2
33
(1.5)
где t
k
p
– требуемое значение выхода.
Подставляя в выражение (1.5) значение y
k
p
, получим
2
[] 0,5 { [ ( )]}.
pp
kjkiji
pk j i
Ew t f w f w x1 2
33 3 3
(1.6)
Функция (1.6) является непрерывно дифференцируемой функци"
ей от каждого веса, входящего в это выражение, поэтому можно вос"
пользоваться алгоритмом градиентного спуска для нахождения ве"
сов. Большую практическую важность здесь играет форма правил
изменения весов.
Для весов между скрытым и выходным слоями правило градиент"
ного спуска дает:
() () ,
pp pp pp
jk k k k j k j
jk
pp
E
wtyfhvv
w
1
2
3456 46 5 467
1
88
(1.7)
Страницы
- « первая
- ‹ предыдущая
- …
- 28
- 29
- 30
- 31
- 32
- …
- следующая ›
- последняя »
