Численные методы для физиков. Нелинейные уравнения и оптимизация. Зайцев В.В - 47 стр.

UptoLike

Составители: 

47
Наконец, функция )(
x
f
называется унимодальной на отрезке ],[ ba , если на
этом отрезке она имеет единственный минимум и при
xx строго
убывает, а при
xx строго возрастает.
Методы одномерной оптимизации являются итерационными
методами и их можно разделить на две группы. К одной из них относятся
методы, использующие значения производных для достижения высокой
скорости сходимости итерационного процесса, к другойметоды,
оперирующие только со значениями функции. Последние обладают
гарантированной сходимостью к минимуму унимодальной функции, но
являются довольно медленными.
3.2. Метод Ньютона
Среди методов одномерной оптимизации, использующих значения
производных функции, наиболее известен метод Ньютона. Ранее он
рассматривался в контексте решения нелинейных уравнений. Теперь
применим его для минимизации функции )(
x
f
. Будем предполагать, что
функция имеет по крайней мере три непрерывные производные и
ограничена снизу.
Для функции общего вида не существует формулы для вычисления
точки, минимизирующей )(
x
f
. Идея метода Ньютона состоит в
аппроксимации )(
x
f
в окрестности предполагаемой точки минимума
0
x
более простой функцией, для минимизации которой можно
воспользоваться аналитическими выражениями. Точка минимума
1
x этой
аппроксимирующей функции дает новое приближение для точки
минимума исходной функции )(
x
f
. Затем процесс повторяется до тех пор,
пока модуль разности между двумя последовательными приближениями
не достигнет заданной погрешности минимизации. Так как линейная
функция не имеет конечного минимума, простейшей аппроксимацией
является квадратичная
Чтобы получить формулу итерационного процесса, предположим, что
точка
n
x текущее приближение к истинному положению минимума
x , и
рассмотрим разложение функции )(
x
f
в ряд Тейлора в окрестности точки
n
x , ограничившись тремя членами ряда:
)(
2
1
)()()()(
2
nnnn
xfhxfhxfhxfhq
+
+=+= .
Теперь задача состоит в минимизации квадратичной функции )(
hq . При
этом предполагается, что точка минимума
h функции )(hq дает лучшее