ВУЗ:
Составители:
131
При исследовании градиентных методов полагают, что целевая
функция
)(xf
, её первые
)(xf
′
и вторые
)(xf
′
′
производные сущест-
вуют и непрерывны.
13.6.1. Метод наискорейшего спуска
Предположим, что в некоторой точке x пространства независи-
мых переменных требуется определить направление наискорейшего
локального спуска, т.е. направление наибольшего локального умень-
шения целевой функции. Эта задача была решена ещё известным
французским математиком Коши, поэтому метод наискорейшего спус-
ка иногда называют методом Коши.
Из курса высшей математики известно, что градиент скалярной
функции в точке
)(k
х
направлен в сторону наискорейшего увеличения
функции, и что он ортогонален касательной к линии равного уровня
функции
)(xf
, проходящей через точку
)(k
х
. Следовательно, при по-
иске минимума целевой функции
)(xf
нужно двигаться в направле-
нии, противоположном градиенту
)(xf
, т.е. в направлении наиско-
рейшего спуска, поскольку отрицательный градиент функции
)(xf
в
точке
)(k
х
направлен в сторону наибольшего уменьшения
)(xf
по
всем компонентам x и ортогонален линии уровня
)(xf
в точке
)(k
х
.
Таким образом, требуемое направление может быть определено по
формуле
(
)
)()( kk
xfS −∇=
или, если рассматривать нормированный
(единичный) градиент,
(
)
( )
)(
)(
)(
k
k
k
xf
xf
S
∇
∇
−=
.
С учётом последнего выражения итерационная формула метода
наискорейшего спуска может быть записана в виде
( ) ( )
(
)
(
)
( )
( )
k
k
kkk
xf
xf
xx
∇
∇
λ−=
+ )1(
, (13.4)
где
)(k
λ
– заданный положительный параметр (шаг поиска). При вы-
боре размера шага применяют два общих подхода.
В первом при переходе из точки
)(k
х
в точку
)1( +k
х
целевая
функция минимизируется по λ с помощью любого метода одномерно-
го поиска. В этом случае ищется минимум функции
( ) ( )
( )
(
)
( )
( )
( )
( ) ( )
( )
(
)
( )
( )
∇
∇
λ−=
∇
∇
λ−
≥λ
∗
k
k
kk
k
k
kk
xf
xf
xf
xf
xf
xf
k
0
min
.
Страницы
- « первая
- ‹ предыдущая
- …
- 129
- 130
- 131
- 132
- 133
- …
- следующая ›
- последняя »
