Нейросетевые технологии. Каширина И.Л. - 21 стр.

UptoLike

ВУЗ: 

ВГУ | Воронеж

Составители: 

Рубрика: 

21
jk
k
k
k
kjk
v
s
s
y
y
E
v
E
∂
∂
∂
∂
∂
∂
=
∂
∂
,
где s
k
– взвешенная сумма входных сигналов k-го нейрона выходного слоя.
Обозначим
c
j
y – значение выхода j-го нейрона скрытого слоя. Тогда
∑
=
=
m
j
c
jjkk
yvs
1
и
c
j
jk
k
y
v
s
=
∂
∂
. Так как
)(
kk
sfy =
, то
)1()(1)((
kkkk
k
k
yysfsf
s
y
−=−=
∂
∂
. Наконец,
kk
k
dy
y
E
−=
∂
∂
. Таким образом,
получили выражение для производной:
c
jkkkk
jk
yyydy
v
E
)1()( −−=
∂
∂
.
Выведем теперь формулу для производной
ij
w
E
∂
∂
. Аналогично запишем:
ij
j
j
c
j
c
j
ij
w
s
s
y
y
E
w
E
∂
∂
∂
∂
∂
∂
=
∂
∂
.
Здесь
∑
=
=
n
i
iijj
xws
1
, поэтому
i
ij
j
x
w
s
=
∂
∂
(
−
i
x i-я компонента, поданного на
вход образа обучающей выборки);
)1(
c
j
c
j
j
c
j
yy
s
y
−=
∂
∂
. Так как функция
ошибки не зависит в явном виде от выходов скрытого слоя
c
j
y , то произ-
водная
c
j
y
E
∂
∂
усложняется:
c
j
k
k
k
p
k
k
c
j
y
s
s
y
y
E
y
E
∂
∂
∂
∂
∂
∂
=
∂
∂
∑
=1
. Воспользовавшись имею-
щимися выражениями для
k
y
E
∂
∂
,
k
k
s
y
∂
∂
и
k
s , запишем:
∑
=
−−=
∂
∂
p
k
jkkkkk
c
j
vyydy
y
E
1
)1()(
.
Если ввести обозначение
k
k
k
k
s
y
y
E
∂
∂
∂
∂
=
δ
= )1()(
kkkk
yydy
−
−
,
получим следующие выражения для производных:
c
jk
jk
y
v
E
δ
=
∂
∂
,
i
c
j
c
j
p
k
jkk
ij
xyyv
w
E
)1()(
1
−=
∂
∂
∑
=
δ
                                      ∂E    ∂E ∂yk ∂sk
                                          =              ,
                                     ∂v jk ∂yk ∂sk ∂v jk

где sk – взвешенная сумма входных сигналов k-го нейрона выходного слоя.
Обозначим y cj – значение выхода j-го нейрона скрытого слоя. Тогда
      m
                               ∂sk
sk = ∑ v jk y cj      и              = y cj .        Так         как        y k = f ( sk ) ,   то
      j =1                     ∂v jk
∂yk                                                            ∂E
    = f ( sk )(1 − f ( sk ) = y k (1 − yk ) . Наконец,              = y k − d k . Таким образом,
∂sk                                                           ∂y k
получили выражение для производной:
                                   ∂E
                                        = ( yk − d k ) y k (1 − yk ) y cj .
                                  ∂v jk
                                                             ∂E
Выведем теперь формулу для производной                            . Аналогично запишем:
                                                             ∂wij
                                              c
                               ∂E      ∂E ∂y j ∂s j
                                    =                .
                               ∂wij ∂y cj ∂s j ∂wij
              n                 ∂s j
Здесь s j = ∑ wij xi , поэтому        = xi ( xi − i-я компонента, поданного на
            i =1                ∂w ij

                                                     ∂y cj
вход образа обучающей выборки);                              = y cj (1 − y cj ) . Так как функция
                                                     ∂s j
ошибки не зависит в явном виде от выходов скрытого слоя y cj , то произ-
             ∂E                ∂E     p
                                         ∂E ∂yk ∂sk
водная         c
             ∂y j
                  усложняется:     = ∑
                               ∂y j k =1 ∂yk ∂sk ∂y cj
                                 c
                                                       . Воспользовавшись имею-

                                  ∂E ∂yk
щимися выражениями для                ,    и sk , запишем:
                                  ∂y k ∂sk
                             ∂E      p
                                  = ∑ ( yk − d k ) y k (1 − yk )v jk .
                             ∂y cj k =1
                                ∂E ∂yk
Если ввести обозначение δ k =           = ( yk − d k ) y k (1 − yk ) ,
                                ∂yk ∂sk
получим следующие выражения для производных:
              ∂E                    ∂E        p
                   = δ k y cj ,         = ( ∑ δ k v jk ) y cj (1 − y cj ) xi
             ∂v jk                 ∂wij     k =1




                                                21

Страницы