Нейросетевые структуры и технологии. Часть 1. Электрические и математические модели нейронов. НС прямого распространения. Клюкин В.И - 43 стр.

                              �                                               �
                              �                                               �
                              �
                              �
                          (0) �
                                           1 � 2� w       � �  (0) 2
                                                               ik
                                                                              �
                                                                              �
                                                                              �.
                   wij � wij � 1 � ηγ              k� i
                                                                              �    (3.24)
                              �           �                          �    2   �
                              �                      � �
                                          � 1 � � wik(0)                      �
                                                                 2
                                                                     �
                              �           ��                         ��       �
                              �                 k                             �
      При малых wik, подходящих к i-му нейрону, происходит дальнейшее
их уменьшение, при больших – коррекционная составляющая невелика и
слабо влияет на процесс редукции сети.
                                                                     �
      Еще один способ минимизации НС основан на модификации E ( w) , по-
зволяющей исключить в процессе обучения скрытые нейроны с наименьшей
активностью, то есть предполагается, что, если при любых обучающих выбор-
ках выходной сигнал какого-либо нейрона остается неизменным, то его при-
сутствие в сети излишне. Целевая функция в этом случае записывается как
                           �            �
                                                               � �
                                              K p
                       E � w� � E (0) � w� � �e � ij2 ,                          (3.25)
                                                 i �1 j �1


где e � � ij2 � – корректирующий фактор, зависящий от активности всех K
скрытых нейронов для всех р обучающих выборок, �ij – изменение значе-
ния i-го нейрона для j-й обучающей пары, � – коэффициент коррекции.
Вид e � � 2 � подбирается так, чтобы при высокой активности скрытого ней-
рона величина �Е была малой, при низкой активности – большой. Один из
вариантов реализации

                             e � � ij2 � � ��1 � � i2 �� .
                                                          �1
                                                                                   (3.26)

Следует отметить, все методы редукции НС ведут к улучшению их обоб-
щающих свойств, причем в целом методы с использованием штрафных
функций несколько уступают методам с учетом чувствительности.
      В алгоритмах редукции в качестве исходной точки используется из-
быточная архитектура НС. Противоположный подход заключается в пер-
воначальном включении в НС небольшого числа скрытых нейронов (часто
они вообще отсутствуют), а по мере развития процесса обучения их число
постепенно возрастает. Большинство известных методов наращивания НС
                                                                   �
имеют относительно низкую эффективность при большой размерности x и
не составляют серьезной конкуренции методам редукции. Наиболее из-
вестным методом расширения является алгоритм каскадной корреляции
Фальмана, но слоистая структура получаемой НС весьма специфична и не
является полносвязной, так что ее реализация будет рассмотрена позднее
при анализе специализированных структур НС.

                                              43