Нейросетевые структуры и технологии. Часть 1. Электрические и математические модели нейронов. НС прямого распространения. Клюкин В.И - 48 стр.

UptoLike

ВУЗ: 

ВГУ | Воронеж

Составители: 

Рубрика: 

48
4.1. Многослойный персептрон (МСП)
Многослойная сеть состоит из нейронов, расположенных на разных
уровнях, когда, помимо входного и выходного слоев, имеется еще, как ми-
нимум, один промежуточный (скрытый) слой. Обобщенная структура
двухслойной НС приведена на рис. 4.2. Выходной сигнал i–го нейрона
скрытого слоя можно записать как
(1)
0
,1,2,,
N
iijj
j
ufwxiK
=
éù
êú
==
êú
êú
ëû
å
K (4.2)
а выходные сигналы
(2)(2)(1)
000
,1,2,,
KKN
lliiliijj
iij
yfwufwfwxlM
===
éù
æö
éù
êú
ç÷
êú
===
êú
ç÷
ç÷
êú
êú
ëû
èø
ëû
ååå
K (4.3)
где f(…), как правило, сигмоидальная функция активации. Из выражений
(4.2), (4.3) следует, что на значение выходного сигнала влияют веса обоих
слоев, тогда как сигналы от скрытого слоя не зависят от выходных весов
(2)
w
.
4.2. Алгоритм обратного распространения ошибки (ОРО)
Алгоритм ОРО определяет стратегию подбора весов МСП с приме-
нением градиентных методов оптимизации и считается одним из наиболее
эффективных алгоритмов обучения НС. Его основу составляет целевая
функция вида (4.1). Уточнение весов может проводиться многократно по-
сле предъявления каждой обучающей пары
(
)
,
xd
r
r
(режим «online») либо
однократно после предъявления всех выборок, составляющих цикл обуче-
ния (режим «offline»). Формула для уточнения вектора весов имеет вид
Рис. 4.2. Обобщенная структура двухслойной НС (с одним скрытым слоем)
1
x
1
x
2
x
N
(1)
01
w
(1)
KN
w
y
1
2
K
x
0
=1
(1)
w
éù
ëû
r
u
1
u
2
u
K
u
0
= 1
1
M
y
M
(2)
10
w
(2)
MK
w
(2)
w
éù
ëû
r
4.1. Многослойный персептрон (МСП)
      Многослойная сеть состоит из нейронов, расположенных на разных
уровнях, когда, помимо входного и выходного слоев, имеется еще, как ми-
нимум, один промежуточный (скрытый) слой. Обобщенная структура
двухслойной НС приведена на рис. 4.2. Выходной сигнал i–го нейрона
скрытого слоя можно записать как
                                    � N             �
                            ui � f �� � wij(1) x j �� , i � 1, 2, � K ,                           (4.2)
                                    � j �0          �
а выходные сигналы

                 � K           �       � K          � N             ��
         yl � f �� � wli(2)ui �� � f �� � wli(2) f �� � wij(1) x j �� �� , l � 1, 2, � M ,        (4.3)
                 � i �0       �       �� i �0      � j �0          � ��
где f(…), как правило, сигмоидальная функция активации. Из выражений
(4.2), (4.3) следует, что на значение выходного сигнала влияют веса обоих
слоев, тогда как сигналы от скрытого слоя не зависят от выходных весов wli(2) .
                           �                                     �
      x0=1              �� w(1) ��              u0 = 1        �� w(2) ��
                                      (1)
                                     w01                         w10(2)
                                                   u1
       x1                                   1

                                                                           1                 y1
                                                   u2
       x2                                   2

                                                                           M                 yM
                                                   uK
       xN                                   K                    (2)
                      (1)                                       wMK
                    w KN


    Рис. 4.2. Обобщенная структура двухслойной НС (с одним скрытым слоем)

4.2. Алгоритм обратного распространения ошибки (ОРО)
      Алгоритм ОРО определяет стратегию подбора весов МСП с приме-
нением градиентных методов оптимизации и считается одним из наиболее
эффективных алгоритмов обучения НС. Его основу составляет целевая
функция вида (4.1). Уточнение весов может проводиться многократно по-
                                           � �
сле предъявления каждой обучающей пары x , d (режим «online») либо   �         �
однократно после предъявления всех выборок, составляющих цикл обуче-
ния (режим «offline»). Формула для уточнения вектора весов имеет вид
                                                         48

Страницы