Нейросетевые структуры и технологии. Часть 1. Электрические и математические модели нейронов. НС прямого распространения. Клюкин В.И - 33 стр.

      Более эффективный способ – адаптивный выбор � с учетом динами-
                 �
ки изменения E ( w) в процессе обучения, когда тенденция к непрерывному
увеличению � сочетается с контролем суммарной погрешности
         M

         �� y       � d j � на каждой итерации. При этом
                        2
�t �            j
         j �1


                                 ηt �1 � k y ηt , при ε t � knε t �1;
                                                                          (3.16)
                                 ηt �1 � kв ηt , при ε t � kn ε t �1 ,

где ky, kв – коэффициенты уменьшения и увеличения �t соответственно, kn –
коэффициент допустимого прироста погрешности �. Заметим, что реализа-
ция этой стратегии выбора � в NNT MATLAB 6,5 при kn = 1,41, ky = 0,7 ,
kв = 1,05 позволила в несколько раз ускорить обучение многослойных НС
при решении задач аппроксимации нелинейных функций.
        Наиболее эффективный, хотя и наиболее сложный, метод подбора �
                                         �
связан с направленной минимизацией E ( w) в заранее выбранном направле-
        �
нии pt , когда значение �t подбирается так, чтобы новое решение
 �      �       �                               �                �
wt �1 � wt � ηt pt соответствовало минимуму E ( w) в направлении pt . Чаще
всего определение оптимальной величины � связано с представлением
    �
E ( w) полиномом 2 или 3-го порядка от �
                                �
                            E � w� �P2 � η� � a2 η2 � a1η � a0 ;
                                �                                         (3.17)
                            E � w� �P3 � η� � a3η3 � a2 η2 � a1η � a0 ,

где для определения коэффициентов ai используют информацию о величи-
       �                                 �
не E ( w) и ее производной в направлении pt , а значения �опт получают из
                                                       a
условия минимума Р2(�) или Р3(�) согласно ηопт � � 1 для Р2(�) или
                                                      2a2
         � a2 � a22 � 3a2 a1
ηопт �                   для Р3(�).
               3a3
       Эффективность алгоритмов обучения проверяется на стандартных тес-
тах, к которым относятся задачи логистики (предсказания последующего зна-
чения хn + 1 случайной последовательности по предыдущему значению xn), ко-
дирования и декодирования двоичных данных, аппроксимации нелинейных
функций определенного вида, комбинаторной оптимизации («задача комми-
вояжера») и т. п. Сравнение идет по количеству циклов обучения, количеству
              �
расчетов E ( w) , чувствительности к локальным минимумам и т. д. Поскольку
эти характеристики могут существенно отличаться в зависимости от характера
                                                      33