Моделирование искусственных нейронных сетей в системе MATLAB. Часть 2. Линейные сети. Донской Д.А - 14 стр.

             Лабораторная работа № 3
      Обучение линейной сети.
Обучающее правило наименьших квад-
               ратов
   Цель работы: изучение алгоритма настройки параметров линей-
ных нейронных сетей с помощью процедуры обучения train в систе-
ме MATLAB.
                    Общие сведения
          Обучающее правило наименьших квадратов
   Для линейной нейронной сети используется рекуррентное обу-
чающее правило наименьших квадратов, которое является наиболее
мощным, чем обучающее правило персептрона. Правило наимень-
ших квадратов, или правило обучения WH (Уидроу–Хоффа), мини-
мизирует среднее значение суммы квадратов ошибок обучения.
   Процесс обучения нейронной сети состоит в следующем. Авторы
алгоритма предположили, что можно оценивать полную среднюю
квадратичную погрешность, используя среднюю квадратичную по-
грешность на каждой итерации. Сформируем частную производную
по весам и смещению от квадрата погрешности на k-й итерации:
                ⎧ ∂e 2 (k )           ∂e(k )
                ⎪           = 2e(k )         , j = 1,..., R;
                ⎪ ∂w1, j              ∂w1, j
                ⎨ 2                                          (1)
                ⎪ ∂e (k )               ∂e(k )
                ⎪⎩ ∂b = 2e(k ) ∂b .
   Подставляя выражение для ошибки в форме
                                    ⎛ R                  ⎞
                   e(k ) = t (k ) − ⎜ ∑ w1,i pi (k ) + b ⎟ , (2)
                                    ⎜ j =1               ⎟
                                    ⎝                    ⎠
получим




                              14