Нейросетевые технологии. Каширина И.Л. - 44 стр.

    Комбинирование обратного распространения с обучением Коши
     Коррекция весов в комбинированном алгоритме, использующем об-
ратное распространение и обучение Коши, состоит из двух компонент:
компоненты, вычисляемой с использованием алгоритма обратного распро-
странения, и случайной компоненты, определяемой распределением Коши.
Эти компоненты вычисляются для каждого веса, и их сумма является ве-
личиной, на которую изменяется вес. Как и в алгоритме Коши, после вы-
числения изменения веса вычисляется целевая функция. Если имеет место
улучшение, изменение сохраняется. В противном случае оно сохраняется с
вероятностью, определяемой распределением Коши.
Коррекция веса вычисляется с использованием представленных ранее
                                                         ∂E
уравнений для каждого из алгоритмов: wijN +1 = wijN − ηα      + (1 − η )ΔwijN ,
                                                         ∂wij
где η – коэффициент, управляющий относительными величинами обуче-
ния Коши и обратного распространения в компонентах весового шага. Ес-
ли η приравнивается нулю, метод становится полностью обучением Коши.
Если η приравнивается единице, метод становится алгоритмом обратного
распространения.
      Комбинированная сеть, использующая обратное распространение и
обучение Коши, обучается быстрее, чем каждый из алгоритмов в отдель-
ности. Сходимость к глобальному минимуму гарантируется алгоритмом
Коши, и во многих экспериментах по обучению сеть практически не попа-
дала в локальные минимумы.

                              УПРАЖНЕНИЯ
 1. Стохастические нейронные сети можно использовать для поиска гло-
бального минимума в невыпуклых или не имеющих строгой математиче-
ской формализации задачах оптимизации. На первом этапе обучения (на-
пример, по методу Коши) подстраиваются весовые коэффициенты сети
так, чтобы она аппроксимировала данную функцию (в качестве обучаю-
щей выборки используются наборы значений переменных, для которых
известно значение функции). На втором этапе весовые коэффициенты се-
ти остаются без изменения, а определению подлежат входные значения се-
ти, которые пересчитываются по тому же закону, что и весовые коэффици-
енты, но в качестве функции ошибки используется оптимизируемая функ-
ция, аппроксимируемая данной сетью (за ее уменьшением или увеличени-
ем должен следить алгоритм обучения). Напишите программу, опреде-
ляющую с помощью обучения Коши глобальный минимум функции F(x) =
3х3 + 6х2 – 2х + 3.
 2. Напишите программу, обучающую стохастическую сеть распознава-
нию цифр. На вход сети подаются графические изображения цифр, разби-
                                      44