Нейросетевые структуры и технологии. Часть 1. Электрические и математические модели нейронов. НС прямого распространения. Клюкин В.И - 42 стр.

определяется всеми компонентами гессиана, а после отсечения веса с ми-
нимальной Si уточнение оставшихся происходит согласно
                                        wi       �1
                                                      �
                            �w �               H    � 1i,                (3.20)
                                    �� H �1 ��
                                             ii
    �
где 1i � � 0, 0, �, 1, � 0� – вектор с единичной компонентой в i-й позиции.
                           T


Коррекция производится после отсечения каждого очередного веса и заме-
няет повторное обучение НС.
       3. Редукция НС с использованием штрафной функции состоит в та-
кой организации обучения, которая провоцирует самостоятельное умень-
шение значений весов с исключением тех, величина которых опускается
                                                             �
ниже определенного порога. Для этого целевая функция E ( w) модифици-
руется таким образом, чтобы в процессе обучения значения wij минимизи-
ровались автоматически вплоть до некоторого порога, после достижения
которого они приравниваются к нулю. В простейшем варианте
                               �            �
                           E � w� � E (0) � w� � γ�wij2 ,                (3.21)
                                                      i, j

            �
где E (0) � w � – стандартная целевая функция, � – коэффициент штрафа.   Каж-
                                                                   �
дый цикл обучения складывается из двух этапов: минимизации E (0) � w � лю-
бым стандартным методом и коррекции значений весов согласно формуле

                               wij � wij(0) �1 � ηγ � ,                  (3.22)

где wij(0) – значения весов после первого этапа, � – коэффициент обучения.
Следует отметить, что при такой функции штрафа происходит уменьшение
всех весов и выбор порога отсечения должен производится весьма осторожно.
                                                                      �
      Более приемлемые результаты получаются при модификации E ( w) в
виде
                        �     (0) �  1             wij2
                    E � w� � E � w� � γ�                     ,       (3.23)
                                     2 i, j �              �
                                            �� 1 � � wik2 ��
                                             �      k      �

когда осуществляется не только редукция межнейронных связей, но и ис-
ключаются те нейроны, для которых � wik � 0 . Правило коррекции весов
                                             k

в этом случае выглядит следующим образом



                                                 42