Нейросетевые технологии. Каширина И.Л. - 20 стр.

UptoLike

ВУЗ: 

ВГУ | Воронеж

Составители: 

Рубрика: 

20
При обучении нейронной сети ставится задача минимизации целе-
вой
функции ошибки, которая находится по методу наименьших квадратов:
∑
=
−=
p
k
kk
dyVWE
1
2
)(
2
1
),( ,
где
y
k
– полученное реальное значение k-го выхода нейросети при подаче
на нее одного из входных образов обучающей выборки;
d
k
– требуемое (це-
левое) значение
k-го выхода для этого образа.
Обучение нейросети производится известным оптимизационным ме-
тодом градиентного спуска, т. е. на каждой итерации изменение веса про-
изводится по формулам:
ij
N
ij
N
ij
w
E
ww
∂
∂
−=
+
α
1
,
jk
N
jk
N
jk
v
E
vv
∂
∂
−=
+
α
1
,
где
α
– параметр, определяющий скорость обучения.
В качестве активационной функции в сети обратного распростране-
ния обычно используется логистическая функция
s
e
sf
−
+
=
1
1
)(, где
s –
взвешенная сумма входов нейрона. Эта функция удобна для вычислений в
градиентном методе, так как имеет простую производную:
))(1)((
)1(
)('
2
sfsf
e
e
sf
s
s
−=
+
=
−
−
.
Функция ошибки в явном виде не содержит зависимости от весовых
коэффициентов
V
jk
и
ij
w , поэтому для вычисления производных
jk
v
E
∂
∂
,
ij
w
E
∂
∂
воспользуемся формулами дифференцирования сложной функции:
Рис. 11. Ней
р
онная сеть об
р
атного
р
асп
р
ост
р
анения 
           Рис. 11. Нейронная сеть обратного распространения
      При обучении нейронной сети ставится задача минимизации целе-
вой функции ошибки, которая находится по методу наименьших квадратов:
                                     1 p
                       E (W ,V ) = ∑ ( yk − d k ) 2 ,
                                     2 k =1
где yk – полученное реальное значение k-го выхода нейросети при подаче
на нее одного из входных образов обучающей выборки; dk – требуемое (це-
левое) значение k-го выхода для этого образа.
      Обучение нейросети производится известным оптимизационным ме-
тодом градиентного спуска, т. е. на каждой итерации изменение веса про-
изводится по формулам:
                                           ∂E                          ∂E
                      wijN +1 = wijN − α       , v Njk +1 = v Njk − α       ,
                                          ∂wij                        ∂v jk

где α – параметр, определяющий скорость обучения.
         В качестве активационной функции в сети обратного распростране-
                                                            1
ния обычно используется логистическая функция f ( s ) =           , где s –
                                                         1 + e− s
взвешенная сумма входов нейрона. Эта функция удобна для вычислений в
градиентном методе, так как имеет простую производную:
               e− s
 f ' (s) =                = f ( s )(1 − f ( s )) .
           (1 + e − s ) 2

     Функция ошибки в явном виде не содержит зависимости от весовых
                                                              ∂E    ∂E
коэффициентов Vjk и wij , поэтому для вычисления производных      ,
                                                             ∂v jk ∂wij
воспользуемся формулами дифференцирования сложной функции:
                                     20

Страницы