Нейросетевые структуры и технологии. Часть 1. Электрические и математические модели нейронов. НС прямого распространения. Клюкин В.И - 31 стр.

     Заметим, что в непосредственной близости к точке решения � = 0,
                        �
процесс определения G ( w) сводится к аппроксимации 1-го порядка, а
АЛМ превращается в алгоритм Гаусса–Ньютона, характеризующийся
квадратичной сходимостью к оптимальному решению.

3.2.1.4. Алгоритм сопряженных градиентов (АСГ)
                                                        �
       Этот метод не использует информацию о H ( w) , а направление поис-
    �
ка pt выбирается ортогональным и сопряженным всем предыдущим на-
             � �        �
правлениям p1 , p2 , �, pt �1 . Показано, что этим условиям удовлетворяет
                                     �      �           �
                                     pt � � gt � β t �1 pt �1 ,                    (3.11)

где коэффициент сопряжения �t–1 играет важную роль, аккумулируя ин-
формацию о предыдущих направлениях поиска. Наиболее известны сле-
дующие правила определения �t–1
                             � � �                       � � �
                             gt � gt � gt �1 �           gtT � gt � gt �1 �
                     βt �1 �     � �           ; βt �1 �       � �          .      (3.12)
                                 gtT�1 gt �1                � pt �1 gt �1

      Метод сопряженных градиентов имеет сходимость, близкую к ли-
нейной, он менее эффективен, чем АПМ, но заметно быстрее АНС. Благо-
даря невысоким требованиям к памяти и относительно низкой вычисли-
тельной сложности, АСГ широко применяется как единственно эффектив-
ный алгоритм оптимизации при значительном числе переменных (до не-
скольких десятков тысяч весов связей при обучении НС).
3.2.2. Эвристические методы обучения НС
       Помимо алгоритмов обучения, использующих апробированные ме-
тоды оптимизации нелинейной целевой функции, создано огромное коли-
чество алгоритмов эвристического типа, представляющих собой, в основ-
ном, модификацию АНС или АСГ. Подобные модификации связаны с вне-
сением в них некоторых изменений, ускоряющих (по мнению авторов)
процесс обучения ИНС. Как правило, эти методы не имеют серьезного
теоретического обоснования, однако в них реализуется личный опыт рабо-
ты авторов с нейронными сетями. К наиболее известным и эффективным
эвристическим алгоритмам относятся:
       � алгоритм Quickprop Фальмана, содержащий элементы, предот-
вращающие зацикливание в точках неглубоких локальных минимумов.
Изменение весов на шаге t алгоритма осуществляется согласно
                                 � �E                �
                                 �                   �
               �wij � t � � � ηt �       � γwij � t �� � α ij � t � �wij � t � 1� , (3.13)
                                 � � wij             �
                                 �                   �

                                                    31