Нейросетевые структуры и технологии. Часть 1. Электрические и математические модели нейронов. НС прямого распространения. Клюкин В.И - 32 стр.

UptoLike

ВУЗ: 

ВГУ | Воронеж

Составители: 

Рубрика: 

32
где первое слагаемое соответствует АНС, последнее – методу моментов, а
средний член
(
)
γ
ij
wt
предназначен для минимизации (g ~ 10
–4
) абсолютных
значений весов вплоть до возможного разрыва соответствующих связей
(при w
ij
» 0). Важную роль в алгоритме Quickprop играет фактор момента
a
ij
(t), который подбирается индивидуально для каждого веса
ij
w
и адапти-
руется к текущим результатам обучения;
- алгоритм RPROP Ридмиллера–Брауна, где при уточнении весов
учитывается только знак градиентной составляющей, а ее значение отбра-
сывается, то есть
() ()
η .
ijij
ij
E
wttsign
w
D=-
(3.14)
Коэффициент обучения
(
)
ij
t
h
также подбирается индивидуально для каждого
ij
w
с учетом изменения градиента на каждом шаге обучения. Предельные зна-
чения
(
)
η
ij
t
для алгоритма RPROP составляют h
min
= 10
-6
и h
max
= 50 соответ-
ственно. Заметим, что этот алгоритм позволяет значительно ускорить процесс
обучения в тех случаях, когда угол наклона целевой функции невелик.
3.2.3. Подбор коэффициентов и сравнение эффективности
детерминированных алгоритмов обучения НС
Все рассмотренные алгоритмы обучения НС связаны только с опре-
делением направления
t
p
r
на каждом шаге, но ничего не говорят о выборе
коэффициента обучения
(
)
η
t
, хотя он оказывает огромное влияние на ско-
рость сходимости: слишком малое значение
(
)
η
t
не позволяет минимизи-
ровать
()
Ew
r
за один шаг в заданном направлении и требует повторных
итераций, слишком большой шаг приводит к «перепрыгиванию» через ми-
нимум целевой функции и фактически заставляет возвращаться к нему.
Существуют различные способы подбора h. Простейший из них основан
на фиксации h = const на весь период оптимизации, практически использу-
ется только в АНС при обучении в режиме «online» и имеет низкую эф-
фективность, поскольку никак не связан с величиной и направлением
t
p
r
на
данной итерации. Обычно величина h подбирается отдельно для каждого
слоя НС, чаще всего с использованием соотношения
1
η min,
i
n
æö
ç÷
£
ç÷
ç÷
èø
(3.15)
где n
i
– количество входов i-го нейрона в слое. 
где первое слагаемое соответствует АНС, последнее – методу моментов, а
средний член γwij � t � предназначен для минимизации (� � 10–4) абсолютных
значений весов вплоть до возможного разрыва соответствующих связей
(при wij � 0). Важную роль в алгоритме Quickprop играет фактор момента
�ij(t), который подбирается индивидуально для каждого веса wij и адапти-
руется к текущим результатам обучения;
     � алгоритм RPROP Ридмиллера–Брауна, где при уточнении весов
учитывается только знак градиентной составляющей, а ее значение отбра-
сывается, то есть
                                                      � �E�
                                                      �       �
                         �wij � t � � � ηij � t � sign�       �.         (3.14)
                                                      � � wij �
                                                      �       �
Коэффициент обучения �ij � t � также подбирается индивидуально для каждого
wij с учетом изменения градиента на каждом шаге обучения. Предельные зна-
чения ηij � t � для алгоритма RPROP составляют �min = 10-6 и �max = 50 соответ-
ственно. Заметим, что этот алгоритм позволяет значительно ускорить процесс
обучения в тех случаях, когда угол наклона целевой функции невелик.

3.2.3. Подбор коэффициентов и сравнение эффективности
детерминированных алгоритмов обучения НС
       Все рассмотренные алгоритмы обучения НС связаны только с опре-
                       �
делением направления pt на каждом шаге, но ничего не говорят о выборе
коэффициента обучения η � t � , хотя он оказывает огромное влияние на ско-
рость сходимости: слишком малое значение η � t � не позволяет минимизи-
           �
ровать E ( w) за один шаг в заданном направлении и требует повторных
итераций, слишком большой шаг приводит к «перепрыгиванию» через ми-
нимум целевой функции и фактически заставляет возвращаться к нему.
Существуют различные способы подбора �. Простейший из них основан
на фиксации � = const на весь период оптимизации, практически использу-
ется только в АНС при обучении в режиме «online» и имеет низкую эф-
                                                                   �
фективность, поскольку никак не связан с величиной и направлением pt на
данной итерации. Обычно величина � подбирается отдельно для каждого
слоя НС, чаще всего с использованием соотношения
                                            � 1�
                                  η � min ��� ��� ,                      (3.15)
                                            � ni �
где ni – количество входов i-го нейрона в слое.

                                               32

Страницы