Искусственные нейронные сети. Сивохин А.В - 56 стр.

UptoLike

ВУЗ: 

ПГУ | Пенза

Составители: 

Рубрика: 

56
Если используется сопряжённый градиент функционала, то на
первой итерации направление движения
0
p выбирают против гради-
ента
0
g этой итерации:
00
gp
=
.
Для следующих итераций направление
k
p выбирают как линей-
ную комбинацию векторов
k
g и
1−k
p :
1−
β
+
−
=
kkkk
pgp
,
а вектор параметров рассчитывают по формуле:
kkkk
pXX
α
+
=
+1
,
Для методов второго порядка расчет параметров на k-м шаге про-
изводят по формуле (метод Ньютона):
kkkk
gHXX
1
1
−
+
−= ,
где
H
k
– матрица вторых частных производных целевой функции
(матрица Тессе);
g
k
– вектор градиента на k-й итерации. Вычисление
матрицы Тессе требует больших затрат машинного времени, поэтому
её заменяют приближенными выражениями (квазиньютоновские ал-
горитмы).
Градиентными алгоритмами обучения являются:
GD – алгоритм градиентного спуска;
GDM – алгоритм градиентного спуска с возмущением;
GDA – алгоритм градиентного спуска с выбором параметра ско-
рости настройки;
Rprop – пороговый алгоритм обратного распространения ошибки;
GDX – алгоритм градиентного спуска с возмущением и адаптаци-
ей параметра скорости настройки.
Алгоритмами, основанными на использовании метода сопряжен-
ных градиентов, являются:
CGF – алгоритм Флетчера–Ривса;
CGP – алгоритм Полака–Ребейры;
CGB – алгоритм Биеле–Пауэлла; 
   Если используется сопряжённый градиент функционала, то на
первой итерации направление движения p0 выбирают против гради-
ента g 0 этой итерации:
                                 p0 = g 0 .
   Для следующих итераций направление pk выбирают как линей-
ную комбинацию векторов g k и pk −1 :
                           pk = − g k + β k pk −1 ,
а вектор параметров рассчитывают по формуле:
                         X k +1 = X k + α k pk ,
   Для методов второго порядка расчет параметров на k-м шаге про-
изводят по формуле (метод Ньютона):
                          X k +1 = X k − H k−1 g k ,
где Hk – матрица вторых частных производных целевой функции
(матрица Тессе); gk – вектор градиента на k-й итерации. Вычисление
матрицы Тессе требует больших затрат машинного времени, поэтому
её заменяют приближенными выражениями (квазиньютоновские ал-
горитмы).
   Градиентными алгоритмами обучения являются:
   GD – алгоритм градиентного спуска;
   GDM – алгоритм градиентного спуска с возмущением;
   GDA – алгоритм градиентного спуска с выбором параметра ско-
рости настройки;
   Rprop – пороговый алгоритм обратного распространения ошибки;
   GDX – алгоритм градиентного спуска с возмущением и адаптаци-
ей параметра скорости настройки.
   Алгоритмами, основанными на использовании метода сопряжен-
ных градиентов, являются:
   CGF – алгоритм Флетчера–Ривса;
   CGP – алгоритм Полака–Ребейры;
   CGB – алгоритм Биеле–Пауэлла;


                                     56

Страницы