Решение задач оптимального управления с использованием математической системы MATLAB и пакета имитационного моделирования SIMULINK. Сивохин А.В - 217 стр.

   Если в нейронной сети используются линии задержки, то для ее обучения надо
задавать функцию обучения, основанную на динамическом варианте метода
обратного распространения ошибки trainbfgc (см. m-функции в файлах
…\toolbox\nnet\nncontrol\trainbfgc.m и …\toolbox\nnet\nncontrol \srchbacxc.m).
  По умолчанию для сетей с прямой передачей сигналов в качестве критерия
обучения используется функционал, представляющий собой сумму квадратов
ошибок между выходами сети и их целевыми значениями:
                                   1Q S q q 2
                                J = ∑∑(ti − di ) ,                       (10.3)
                                   2 q=1 i=1
где Q – объём выборки;
    q – номер выборки;
    i – номер выхода;
    tiq – целевое значение для i-го выхода выборки q;
      d iq – сигнал на i-м выходе при подаче входных сигналов q-й выборки. Целью
обучения сети является минимизация этого функционала с помощью изменения
весов и смещений.
  В настоящее время разработано несколько методов минимизации функционала
ошибки на основе известных методов определения экстремумов функций
нескольких переменных. Все эти методы можно разделить на три класса:
  а) методы нулевого порядка, в которых для нахождения минимума
используется только информация о значениях функционала в заданных точках;
  б) методы первого порядка, в которых используется градиент функционала
ошибки по настраиваемым параметрам, использующий частные производные
функционала;
  в) методы второго порядка, в которых используются вторые производные
функционала.
  Для линейных сетей задача нахождения минимума функционала (параболоида)
сводится к решению системы линейных уравнений, включающих веса, смещения,
входные обучающие значения и целевые выходы и, таким образом, может быть
решена без использования итерационных методов. Во всех остальных случаях
надо использовать методы первого или второго порядка.
  Если используется градиент функционала ошибки, то

                                      Xk+1 = Xk −αk gk ,                       (10.4)

где    Xk   и    X k +1 –   векторы   параметров       на   k-й   и   k+1-й   итерациях;
       α k – параметр скорости обучения;

         g k – градиент функционала, соответствующий k-й итерации.


                                            217