Искусственные нейронные сети. Сивохин А.В - 55 стр.

                             1 Q S q
                        J=     ∑∑
                             2 q =1 i =1
                                         (ti − d iq ) 2 ,

где Q – объём выборки; q – номер выборки; i – номер выхода;
tiq – целевое значение для i-го выхода выборки q; aiq – сигнал на i-м
выходе при подаче входных сигналов q-й выборки. Целью обучения
сети является минимизация этого функционала с помощью измене-
ния весов и смещений.
    В настоящее время разработано несколько методов минимизации
функционала ошибки на основе известных методов определения экс-
тремумов функций нескольких переменных. Все эти методы можно
разделить на три класса:
    а) методы нулевого порядка, в которых для нахождения миниму-
ма используется только информация о значениях функционала в за-
данных точках;
    б) методы первого порядка, в которых используется градиент
функционала ошибки по настраиваемым параметрам, использующий
частные производные функционала;
    в) методы второго порядка, в которых используются вторые про-
изводные функционала.
    Для линейных сетей задача нахождения минимума функционала
(параболоида) сводится к решению системы линейных уравнений,
включающих веса, смещения, входные обучающие значения и целе-
вые выходы и, таким образом, может быть решена без использования
итерационных методов. Во всех остальных случаях надо использо-
вать методы первого или второго порядка.
    Если используется градиент функционала ошибки, то
                         X k +1 = X k − α k g k ,
где X k и X k +1 – векторы параметров на k-й и k+1-й итерациях;
α k – параметр скорости обучения; g k – градиент функционала, со-
ответствующий k-й итерации.




                                   55