ВУЗ:
Составители:
Рубрика:
ij
ji
j
j
p
ji
p
ji
x
w
h
h
E
w
E
w
1
1
/
/1
1
ηδ=
∂
∂
∂
∂
η−=
∂
∂
η−=∆
, (94)
где локальная ошибка для скрытого слоя определяется по формуле
.2,1,
/
1
nj
h
E
j
p
j
=
∂
∂
−=δ
(95)
В данном случае локальная ошибка определяется не напрямую через известные значения. Поэтому,
продолжим рассуждения для определения локальной ошибки в скрытом слое. Запишем
//
1
j
j
j
p
j
p
j
h
h
h
E
h
E
∂
∂
∂
∂
−=
∂
∂
−=δ
. (96)
Принимая )(
11
jj
hfh = , имеем
/
1
1
j
j
p
j
h
f
h
E
∂
∂
∂
∂
−=δ
. (97)
Фактор
jp
hE ∂∂ определяется в соответствии с локальной ошибкой выходного слоя:
∑∑ ∑
== =
=
∂
∂
∂
∂
−=
∂
∂
∂
∂
−=
∂
∂
−
22 2
11 1
2
/
/
/
n
i
n
i
k
n
k
ik
j
i
p
j
i
i
p
j
p
hw
h
o
E
h
o
o
E
h
E
∑
=
δ
2
1
22
n
i
iji
w ; (98)
Тогда локальную ошибку в скрытом слое можно определить, используя формулу
∑
=
δ
∂
∂
=δ
2
1
22
/
1
1
n
i
iji
j
j
w
h
f
. (99)
Локальная ошибка внутреннего скрытого слоя определяется на базе локальных ошибок следующего
слоя. Стартуя с высшего выходного слоя, мы вычисляем δ
2
. Эта ошибка возвращается на нижний уро-
вень. На рис. 21 представлена функциональная схема алгоритма обучения с обратным распространени-
ем ошибки. Главным при данном способе обучения является определение локальной ошибки δ
j
s
(s = 1,
2). В выходном слое ошибка определяется как функция от желаемого и действительного результатов и
сигмоидальной функции активации. Для скрытого слоя локальная ошибка определяется на базе ранее
определенных локальных ошибок выходного слоя.
d
n3
d
2
d
1
y
n3
y
2
y
1
•
•
•
•
•
•
…
…
…
…
•
•
•
x
n0
x
2
x
1
×
×
×
×
×
×
∑
∑
∑
∑
∑
∑
∑
∑
∑
∑
∑
∑
f
1
f
1
f
1
f
2
f
2
f
2
δ
2
1
δ
2
1
δ
2
1
δ
2
1
δ
2
1
δ
2
1
•
•
•
•
•
•
•
•
•
Рис. 21
Тогда алгоритм реализации обучения с обратным распространением ошибки включает следующую
последовательность шагов [9]:
1 Инициализируются все синаптические веса w
ij
s
как малое случайное число.
