Искусственные нейронные сети. Каширина И.Л. - 18 стр.

                                        18
           § 4. СЕТЬ ОБРАТНОГО РАСПРОСТРАНЕНИЯ.

      Рассмотренный в предыдущем параграфе алгоритм обучения однослойного
персептрона очень прост. Однако долгие годы не удавалось обобщить этот алго-
ритм на случай многослойных сетей, что спровоцировало в научных кругах зна-
чительный спад интереса к нейронным сетям. Только в 1986 году Румельхарт раз-
работал эффективный алгоритм корректировки весов, названный алгоритмом об-
ратного распространения ошибок (back propagation).
    Нейронные сети обратного распространения – это современный инструмент
поиска закономерностей, прогнозирования, качественного анализа. Такое назва-
ние – сети обратного распространения они получили из-за используемого алго-
ритма обучения, в котором ошибка распространяется от выходного слоя к вход-
ному, т. е. в направлении, противоположном направлению распространения сиг-
нала при нормальном функционировании сети.
Нейронная сеть обратного распространения состоит из нескольких слоев нейро-
нов, причем каждый нейрон предыдущего слоя связан с каждым нейроном по-
следующего слоя. В большинстве практических приложений оказывается доста-
точно рассмотрения двухслойной нейронной сети, имеющей входной (скрытый)
слой нейронов и выходной слой (рис 11).




                Рис. 11. Нейронная сеть обратного распространения

      Матрицу весовых коэффициентов от входов к скрытому слою обозначим W,
а матрицу весов, соединяющих скрытый и выходной слой, - как V. Для индексов
примем следующие обозначения: входы будем нумеровать только индексом i,
элементы скрытого слоя - индексом j, а выходы, соответственно, индексом k.
Число входов сети равно n, число нейронов в скрытом слое –m, число нейронов в
выходном слое – p. Пусть сеть обучается на выборке ( X t , D t ), t =1, T .
      При обучении нейронной сети ставится задача минимизации целевой функ-
ции ошибки, которая находится по методу наименьших квадратов:
                                       1 p
                            E (W ,V ) = ∑ ( yk −d k ) 2 ,
                                       2 k =1