Нейросетевые структуры и технологии. Часть 1. Электрические и математические модели нейронов. НС прямого распространения. Клюкин В.И - 17 стр.

После уточнения весовых коэффициентов подается следующая обучающая
     �
пара x � di и значения wij уточняются заново. Процесс повторяется мно-
гократно на всех обучающих выборках до минимизации разницы между
всеми yi и di. Вообще говоря, правило персептрона является частным слу-
чаем предложенного позднее правила Видроу–Хоффа

                             wij (t � 1) � wij (t ) � �wij ;
                                                                                         (2.5)
                             �wij � x j � di � yi � ,

где di, yi могут принимать любые значения.
       Минимизация различий между фактическими yi и ожидаемыми di вы-
ходными сигналами нейрона может быть представлена как минимизация не-
которой (целевой) функции погрешности E(w), чаще всего определяемой, как
                                                              2
                                   1 p
                           E ( w) � � �� yi( k ) � di( k ) �� ,                          (2.6)
                                   2 k �1

где р – количество обучающих выборок. Оптимизация E(w) по правилу
персептрона является безградиентной, при большом р количество циклов
обучения и его длительность быстро возрастают без всякой гарантии дос-
тижения минимума целевой функции. Устранить эти недостатки можно
только при использовании непрерывных f(u) и E(w).
2.2. Сигмоидальный нейрон
      Структура – ФН МакКаллока–Питтса (рис. 2.1).
      Функции активации – униполярный f1 (табл. 2.1, рис. 2.2, в) или би-
полярный f2 (табл. 2.1, рис. 2.2, г) сигмоиды, непрерывно дифференцируе-
мые во всей области определения, причем как f �(u ) � αf (u ) 1 � f (u ) , так и
                                                             1           1   �   1   �
f 2� (u ) � α�� 1 � f 22 (u )�� имеют практически одинаковую колоколообразную
форму с максимумом при u = 0 (рис. 2.3).
      Обучение – с учителем путем минимизации целевой функции (2.6) с
использованием градиентных методов оптимизации, чаще всего алгоритма
наискорейшего спуска (АНС). Для одной обучающей пары (р = 1) j-я со-
ставляющая градиента согласно (2.4), (2.6) имеет вид
                                     dE            df (ui )
                      � j E ( w) �        � ei x j          � δi x j ,                   (2.7)
                                     dwij           dui

         df (ui )
где δi � ei       ; ei � yi � di . При этом значения wij уточняются либо
          dui
дискретным

                                                 17