Составители:
Рубрика:
38
быть изменены путем переобучения сети для получения требуемых
характеристик.
Разновидности градиентных алгоритмов обучения
Метод сопряженных градиентов. В этом методе происходит пос"
ледовательный поиск минимума по различным направлениям на по"
верхности отклика. Сначала, как и в методе ОРО, берется направле"
ние наискорейшего спуска, однако здесь шаг берется непропорцио"
нально скорости обучения: в методе сопряженных градиентов прово"
дится прямая в нужном направлении, а затем вдоль нее ищется ми"
нимум (это не требует больших вычислений, так как поиск проходит
в одном измерении).
Затем происходит поиск в новых направлениях (сопряженных),
которые выбираются из тех соображений, чтобы не терять минимума
по уже выбранным ранее направлениям.
В действительности сопряженные направления вычисляются в
предположении, что поверхность ошибок является квадратичной,
что не всегда справедливо. Однако это предположение работоспособ"
но, а если алгоритм обнаруживает, что выбранное направление не
ведет вниз по поверхности отклика, то он находит направление наи"
скорейшего спуска и начинает поиск заново с этого направления.
Начальное направление поиска d
0
задается следующей формулой:
00
,dg1 2
где
0
g – величина градиента.
На последующих шагах направление поиска d
j+1
корректируется
следующим образом:
11jjjj
dg d12 34
.
Из последней формулы следует, что новое направление минимиза"
ции зависит только от значения градиента в точке решения g
j+1
и от
предыдущего направления поиска d
j
, умноженного на коэффициент
сопряжения b
j
. Для вычисления последнего существуют различные
правила [9], в частности, можно использовать и такое:
2
11
()/
jjj ij
gg g g
12
34 5
67
.
Практическое применение такого подхода связано с постепенной
утратой свойства ортогональности между векторами направлений ми"
нимизации.
Метод Левенберга–Маркара. Этот метод – самый быстрый и на"
дежный метод, но его применение связано со следующими ограниче"
ниями:
Страницы
- « первая
- ‹ предыдущая
- …
- 36
- 37
- 38
- 39
- 40
- …
- следующая ›
- последняя »
