Искусственные нейронные сети. Каширина И.Л. - 32 стр.

                                        32
Это резко уменьшает время обучения. Эта связь может быть выражена следую-
                       T                                          T
щим образом: TN = 0 . Распределение Коши имеет вид: P (∆wij ) = 2 N 2
                     1 +N                                      TN +∆wij
где P (∆wij ) есть вероятность принять изменение веса ∆wij .




            Рис. 16. Распределение Коши и распределение Больцмана

      Несмотря на улучшение скорости обучения, даваемое распределением Ко-
ши по сравнению с распределением Больцмана, время сходимости все еще может
в 100 раз превышать время для алгоритма обратного распространения.

       Комбинирование обратного распространения с обучением Коши

Коррекция весов в комбинированном алгоритме, использующем обратное распро-
странение и обучение Коши, состоит из двух компонент: компоненты, вычисляе-
мой с использованием алгоритма обратного распространения, и случайной ком-
поненты, определяемой распределением Коши.
Эти компоненты вычисляются для каждого веса, и их сумма является величиной,
на которую изменяется вес. Как и в алгоритме Коши, после вычисления измене-
ния веса вычисляется целевая функция. Если имеет место улучшение, изменение
сохраняется. В противном случае оно сохраняется с вероятностью, определяемой
распределением Коши.
Коррекция веса вычисляется с использованием представленных ранее уравнений
                                             ∂E
для каждого из алгоритмов: wijN +1 =wijN −ηα      +(1 −η )∆wijN , где η – коэффици-
                                             ∂wij
ент, управляющий относительными величинами обучения Коши и обратного рас-
пространения в компонентах весового шага. Если η приравнивается нулю, метод
становится полностью обучением Коши. Если η приравнивается единице, метод
становится алгоритмом обратного распространения.
      Комбинированная сеть, использующая обратное распространение и обуче-
ние Коши, обучается быстрее, чем каждый из алгоритмов в отдельности. Сходи-
мость к глобальному минимуму гарантируется алгоритмом Коши, и во многих
экспериментах по обучению сеть практически не попадала в локальные миниму-
мы.