Составители:
Рубрика:
36
из которого при замене первого слагаемого в правой части получаем:
(1) ().
jk k j jk
wt v wt1 2 3 45 2 61
Последнее равенство определяет изменение весов между скрытым
и выходным слоями; аналогично добавляется поправочный член и к
весам между скрытым и входным слоями. Обычно величина момент"
ного (инерционного) параметра a находится в диапазоне от 0 до 1,
наиболее часто его значение принимается равным 0,9.
На рис. 1.15 приведены примеры двух траекторий градиентно"
го спуска, состоящего из 12 шагов при одинаковой скорости обуче"
ния h. Левая траектория соответствует случаю отсутствия инерци"
онного члена (a = 0), правая – соответствует значению a = 0,5.
+
1
2
Рис. 1.15
Модификации функции активации. Диапазон функции актива"
ции должен соответствовать диапазону целевых значений конкрет"
ной задачи. Бинарная сигмоидная функция вида
1
() [1 exp( )]fx x12 3
с производной
() ()[1 ()]fx fx fx
1
23
может быть изменена для перекрытия любого требуемого диапазона
с центром при любом значении x и необходимом наклоне.
Сигмоида может иметь расширенный диапазон, чтобы отображать
значения в интервале [a, b] для любых a и b. Для этого нужно ввести
параметры
; .ba a
1
23 423
Тогда сигмоидная функция
() ()gx fx1 2 34
имеет требуемые свойства, т. е. диапазон [a, b]. Ее производная вы"
ражается как
1
( ) [ ( )][ ( )].g x gx gx
1
23 45 3646
Страницы
- « первая
- ‹ предыдущая
- …
- 34
- 35
- 36
- 37
- 38
- …
- следующая ›
- последняя »
