Искусственные нейронные сети. Каширина И.Л. - 10 стр.

                                       10




                    Рис 5. Пример многослойной нейронной сети
     Многослойные сети могут образовываться каскадами слоев. Выход одного
слоя является входом для последующего слоя. Подобная сеть показана на рис. 5 и
снова изображена со всеми соединениями.
     Многослойные сети не могут привести к увеличению вычислительной мощ-
ности по сравнению с однослойной сетью лишь в том случае, если активационная
функция между слоями не будет линейной. Вычисление выхода слоя заключается
в умножении входного вектора на первую весовую матрицу с последующим ум-
ножением (если отсутствует нелинейная активационная функция) результирую-
щего вектора на вторую весовую матрицу. Так как умножение матриц ассоциа-
тивно, то двухслойная линейная сеть эквивалентна одному слою с весовой матри-
цей, равной произведению двух весовых матриц. Следовательно, любая много-
слойная линейная сеть может быть заменена эквивалентной однослойной сетью.

                 Обучение искусственных нейронных сетей

     Сеть обучается, чтобы для некоторого множества входов давать требуемое
(или, по крайней мере, сообразное с ним) множество выходов. Каждое такое
входное (или выходное) множество рассматривается как вектор. Обучение осуще-
ствляется путем последовательного предъявления входных векторов с одновре-
менной подстройкой весов в соответствии с определенной процедурой. В процес-
се обучения веса сети постепенно становятся такими, чтобы каждый входной век-
тор вырабатывал выходной вектор. Различают алгоритмы обучения с учителем и
без учителя.
     Обучение с учителем предполагает, что для каждого входного вектора суще-
ствует целевой вектор, представляющий собой требуемый выход. Вместе они на-
зываются обучающей парой. Обычно сеть обучается на некотором числе таких
обучающих пар. Предъявляется выходной вектор, вычисляется выход сети и
сравнивается с соответствующим целевым вектором, разность (ошибка) с помо-
щью обратной связи подается в сеть, и веса изменяются в соответствии с алго-
ритмом, стремящимся минимизировать ошибку. Векторы обучающего множества
предъявляются последовательно, вычисляются ошибки, и веса подстраиваются