Нейросетевые структуры и технологии. Часть 1. Электрические и математические модели нейронов. НС прямого распространения. Клюкин В.И - 49 стр.

                                �       �     �    �     � �
                                wt �1 � wt � �wt � wt � ηp � wt � ,                              (4.4)

     � �                                               �
где p � w � – направление в многомерном пространстве w . Для правильного
          � �
выбора p � w � необходимо определение вектора градиента относительно ве-
сов всех слоев сети, однако эта задача имеет очевидное решение только для
весов выходного слоя. Для других слоев используется алгоритм ОРО, в соот-
ветствии с которым каждый цикл обучения состоит из следующих этапов:
                                                       �
        1. По значениям компонент xj входного вектора x расчет выходных
сигналов ui( m ) всех слоев сети, а также соответствующих производных
df � ui( m ) �
                 функций активации каждого слоя (m – число слоев НС).
  dui( m )
       2. Создание сети ОРО путем замены выхода на вход, функций    акти-
                                           �               � �
вации – их производными, входного сигнала x – разностью y � d .
       3. Уточнение весов на основе результатов п. 1, 2 для оригинальной
НС и сети ОРО.
       4. Повторение процесса для всех обучающих выборок вплоть до
выполнения условия остановки обучения (снижения нормы градиента до
заданного �, выполнения определенного количества шагов и т. п.).
      Рассмотрим метод ОРО более подробно, полагая НС с одним скры-
                                                 �
тым слоем и режим обучения «online», когда E � w � определяется только
одной обучающей парой. С учетом обозначений рисунка 4.2
                                                                                             2
                                   � 1 M �                                             �
                                     2
    �    1 � � K (2) �
                 M                                      �� K (2) � N (1) � ��
E � w � � � � f � � wki ui � � d k � � � � f            �� wki f � � wij x j � � � d k � , (4.5)
         2 k �1 � � i �0   �       �   2 k �1 �          � i �0  � j �0      ��        �

откуда для компонентов градиента относительно выходного слоя получаем

                             �E
                                   � � yi � di �
                                                     � �
                                                 df ui(2)
                                                          u j � δi(2)u j .                       (4.6)
                            � wij
                               (2)
                                                  dui(2)




Аналогично, для нейронов скрытого слоя

 �E      M
                       dyk dui     M              df � uk(2) � (2) df � uk(1) �
      � � � yk � d k �           � � � yk � d k �             wki               x j � � i(1) x j . (4.7)
�wij
  (1)
        k �1
                             (1)
                       dui dwij k �1                duk (2)
                                                                     duk (1)




Обе полученные формулы имеют аналогичную структуру, дающую описа-
ние градиента в виде произведения двух сигналов: первый соответствует
                                                      49