Численные методы оптимизации. Рейзлин В.И. - 30 стр.

UptoLike

ВУЗ: 

ТПУ | Томск

Составители: 

Рубрика: 

30
k k k
f x s f x
(4.6)
относительно
k
s
и положить
1k k k
x x s

. (4.7)
Алгоритм (4.6), (4.7) называется методом Ньютона. Положительной сто-
роной метода Ньютона является то, что если
0
x
достаточно близко к точке ло-
кального минимума
*
x
функции f(х) с невырожденной матрицей Гессе
*
fx
,
то, как можно доказать,
*
fx
является положительно определенной и после-
довательность
{}
k
x
, генерируемая алгоритмом (4.6), (4.7) будет сходиться к ми-
нимуму
*
x
(и скорость сходимости будет так называемой q-квадратичной).
К недостаткам метода относятся:
1. Метод не сходится глобально, то есть требует достаточно хорошее
начальное приближение
0
x
;
2. Требует аналитическое задание первых и вторых производных;
3. На каждом шаге необходимо решать систему уравнений (4.7);
4. В методе Ньютона нет ничего, что удерживало бы его от продвижения в
сторону максимума или седловой точки, где
f
тоже равен нулю.
Здесь каждый шаг направляется в сторону стационарной точки локальной
квадратичной модели независимо от того, является ли стационарная точка ми-
нимумом, максимумом или седловой точкой. Этот шаг оправдан при минимиза-
ции, только когда Гессиан
k
fx
положительно определен.
Вообще говоря, метод Ньютона не обладает высокой надежностью.
4.3. Метод Марквардта
Этот метод является комбинацией методов градиентного спуска и Ньюто-
на, в котором удачно сочетаются положительные свойства обоих методов. Дви-
жение в направлении антиградиента из точки
0
x
, расположенной на значитель-
ном расстоянии от точки минимума
*
x
, обычно приводит к существенному
уменьшению целевой функции. С другой стороны, направление эффективного
поиска в окрестности точки минимума определяются по методу Ньютона.
В соответствии с методом Марквардта, направление поиска
k
s
определя-
ется равенством
, (4.8)

Страницы