Искусственные нейронные сети. Каширина И.Л. - 20 стр.

UptoLike

ВУЗ: 

ВГУ | Воронеж

Составители: 

Рубрика: 

20
Здесь
∑
=
=
n
i
iijj
xws
1
, поэтому
i
ij
j
x
w
s
=
∂
∂
(
−
i
x i-тая компонента поданного на вход
образа обучающей выборки); )1(
c
j
c
j
j
c
j
yy
s
y
−=
∂
∂
. Так как функция ошибки не зави-
сит в явном виде от выходов скрытого слоя
c
j
y , то производная
c
j
y
E
∂
∂
усложняет-
ся:
c
j
k
k
k
p
k
k
c
j
y
s
s
y
y
E
y
E
∂
∂
∂
∂
∂
∂
=
∂
∂
∑
=1
. Воспользовавшись имеющимися выражениями для
k
y
E
∂
∂
,
k
k
s
y
∂
∂
и
k
s , запишем :
∑
=
−−=
∂
∂
p
k
jkkkkk
c
j
vyydy
y
E
1
)1()( . Если ввести обозначение
k
k
k
k
s
y
y
E
∂
∂
∂
∂
=δ
= )1()(
kkkk
yydy
−
−
,
получим следующие выражения для производных:
c
jk
jk
y
v
E
δ=
∂
∂
,
i
c
j
c
j
p
k
jkk
ij
xyyv
w
E
)1()(
1
−=
∂
∂
∑
=
δ
Алгоритм обучения сети обратного распространения
Рассмотрим теперь полный алгоритм обучения нейросети.
Шаг 1. Инициализация сети.
Весовым коэффициентам присваиваются малые случайные значения, например,
из диапазона (-0.3, 0.3); задаются
ε
-параметр точности обучения,
α
– параметр
скорости обучения (как правило
1
.
0
≈
и может еще уменьшаться в процессе обу-
чения), N
max
- максимально допустимое число итераций .
Шаг 2. Вычисление текущего выходного сигнала .
На вход сети подается один из образов обучающей выборки и определяются зна -
чения выходов всех нейронов нейросети.
Шаг 3. Настройка синаптических весов .
Рассчитать изменение весов для выходного слоя нейронной сети по формулам
jk
N
jk
N
jk
v
E
vv
∂
∂
−=
+
α
1
, где
c
jk
jk
y
v
E
δ=
∂
∂
,
)1()(
kkkkk
yydy
−
−
=
δ
.
Рассчитать изменение весов для скрытого слоя по формулам
ij
N
ij
N
ij
w
E
ww
∂
∂
−=
+
α
1
, где
i
c
j
c
j
p
k
N
jkk
ij
xyyv
w
E
)1()(
1
1
−=
∂
∂
∑
=
+
δ
Шаг 4. Шаги 2-3 повторяются для всех обучающих векторов . Обучение заверша-
ется по достижении для каждого из обучающих образов значения функции ошиб-
ки, не превосходящего
ε
или после максимально допустимого числа итераций . 
                                                    20
                 n                     ∂s j
   Здесь s j =∑ wij xi , поэтому                =xi ( xi −i-тая компонента поданного на вход
                i =1                  ∂wij
                                        ∂y cj
 образа обучающей выборки);                     =y cj (1 −y cj ) . Так как функция ошибки не зави-
                                        ∂s j
                                                                                   ∂E
  сит в явном виде от выходов скрытого слоя y cj , то производная                        усложняет-
                                                                                   ∂y cj
          ∂E     p
                    ∂E ∂yk ∂sk
    ся:       =∑
          ∂y j k =1 ∂yk ∂sk ∂y cj
            c
                                  . Воспользовавшись имеющимися выражениями для

  ∂E ∂yk                  ∂E     p
      ,    и sk , запишем: c =∑ ( yk −d k ) y k (1 −yk )v jk . Если ввести обозначение
  ∂y k ∂sk                ∂y j k =1
                                 ∂E ∂yk
                       δk =               = ( yk −d k ) y k (1 −yk ) ,
                                 ∂yk ∂sk
 получим следующие выражения для производных:
                 ∂E                      ∂E         p
                      =δk y cj ,               =( ∑ δk v jk ) y cj (1 −y cj ) xi
                ∂v jk                    ∂wij     k =1


               Алгоритм обучения сети обратного распространения

Рассмотрим теперь полный алгоритм обучения нейросети.
Шаг 1. Инициализация сети.
Весовым коэффициентам присваиваются малые случайные значения, например,
из диапазона (-0.3, 0.3); задаются ε -параметр точности обучения, α – параметр
скорости обучения (как правило ≈0.1 и может еще уменьшаться в процессе обу-
чения), Nmax - максимально допустимое число итераций.
Шаг 2. Вычисление текущего выходного сигнала.
На вход сети подается один из образов обучающей выборки и определяются зна-
чения выходов всех нейронов нейросети.
Шаг 3. Настройка синаптических весов.
Рассчитать изменение весов для выходного слоя нейронной сети по формулам
                                 ∂E            ∂E
             v Njk +1 =v Njk −α       , где          =δk y cj , δ k=( yk −d k ) y k (1 −yk ) .
                                ∂v jk         ∂v jk
Рассчитать изменение весов для скрытого слоя по формулам
                      N +1            ∂E            ∂E         p
                    wij =wij −α
                              N
                                           , где         =( ∑ δk v Njk +1 ) y cj (1 −y cj ) xi
                                      ∂wij          ∂wij     k =1

Шаг 4. Шаги 2-3 повторяются для всех обучающих векторов. Обучение заверша-
ется по достижении для каждого из обучающих образов значения функции ошиб-
ки, не превосходящего ε или после максимально допустимого числа итераций.

Страницы