Моделирование искусственных нейронных сетей в системе MATLAB. Часть 2. Линейные сети. Донской Д.А - 15 стр.

                           ⎧ ∂e(k )
                           ⎪⎪ ∂w = − p j (k );
                            ⎨ 1,j                                (3)
                            ⎪ ∂e(k ) = −1.
                            ⎪⎩ ∂b
  Здесь pj(k) – j-й элемент вектора входа на k-й итерации. Эти соот-
ношения лежат в основе обучающего алгоритма WH
                    ⎧⎪w (k + 1) = w(k ) + e(k )p т (k ) ;
                     ⎨                                                      (4)
                     ⎪⎩ b(k + 1) = b(k ) + 2αe(k ) .
   Результат может быть обобщен на случай многих нейронов и
представлен в следующей матричной форме:
                    ⎧⎪W(k + 1) = W(k ) + e(k )p т (k ) ;
                     ⎨                                                      (5)
                     ⎪⎩ b(k + 1) = b(k ) + 2α e(k ) .

   Здесь ошибка e и смещение b – векторы; α                 – параметр скорости
обучения.
   При больших значениях α обучение происходит быстро, однако
при очень больших значениях может приводить к неустойчивости.
Чтобы гарантировать устойчивость процесса обучения, параметр
скорости обучения не должен превышать величины 1/max(|λ|), где
λ – собственное значение матрицы корреляций p*pТ векторов входа.
   Используя правило обучения WH и метод наискорейшего спуска,
всегда можно обучить сеть так, чтобы погрешность обучения была
минимальной.
   Функция learnwh предназначена для настройки параметров ли-
нейной сети и реализует следующее обучающее правило:
                          ⎧dw = lr * e * p т ;
                          ⎪             Q
                          ⎨                                                 (6)
                          ⎪ d b = lr *  ∑  ei ,
                          ⎩            i =1

где lr – параметр скорости обучения. Максимальное значение пара-
метра скорости обучения, которое гарантирует устойчивость про-
цедуры настройки, вычисляется с помощью функции maxlinlr.


                                     15