ВУЗ:
Составители:
69
минимум функции при движении в направлении, заданном на предыдущей
итерации. Более детально это выглядит следующим образом.
Спуск из точки начального приближения
)(
X
0
производится в направ-
лении )(
0 )(
Xfgrad− вдоль прямой, заданной уравнением
)()(
)0(0
Xfgradhh
)(
−= xx .
В процессе спуска минимизируется функция одного аргумента
()
)()(
)0(0)0(
Xfgradhfhg
)(
−= x .
Результат одномерной оптимизации – точка
)(
X
1
– служит начальной
точкой спуска вдоль прямой
)()(
)1(1
Xfgradhh
)(
−= xx
на втором шаге метода, когда минимизируется функция
()
)()(
)1(1)1(
Xfgradhfhg
)(
−= x .
Итерационный процесс продолжается до выполнения условия (4.1).
Можно также завершить итерации, если достигнута близость значений
целевой функции (4.3). Кроме того, в точке минимума градиент целевой
функции равен нулю. Поэтому малость модуля градиента также может
служить признаком окончания процесса многомерной оптимизации.
Отметим, что метод наискорейшего спуска, по-видимому, является
одним из старейших методов минимизации функций многих аргументов.
Его идея была предложена Коши еще в 1845 году. При минимизации
функций, поверхности уровня которых близки к многомерным эллип-
соидам с полуосями одного порядка величины, метод наискорейшего
спуска, равно как и другие градиентные методы, как правило, сходится
быстрее, чем метод покоординатного спуска.
Общий недостаток рассмотренных здесь градиентных методов –
медленная сходимость при наличии оврагов на поверхности
минимизируемой функции. Дело в том, что этом случае локальные
градиенты, с которыми оперируют рассмотренные алгоритмы, даже
приблизительно не указывают направление к точке минимума. Векторы
градиентов сильно осциллируют относительно направления на минимум, в
результате чего траектория спуска представляет собой зигзагообразную
линию с малым шагом в направлении минимума.
Страницы
- « первая
- ‹ предыдущая
- …
- 67
- 68
- 69
- 70
- 71
- …
- следующая ›
- последняя »
