Нейросетевые модели для систем информационной безопасности. Брюхомицкий Ю.А. - 80 стр.

UptoLike

ВУЗ: 

ТТИ ЮФУ | Таганрог

Составители: 

Рубрика: 

80
∑∑
==
−=
n
k
p
sk
p
sk
L
p
zzwE
1
2)(
,T,
)(
,
1
)(
2
1
)( . (8.2)
Рассмотрим процесс коррекции весов между двумя скрытыми слоями: (s-
2)-слоем и (s-1)-слоем. Минимизация целевой функции ошибки производится
методом градиентного спуска. Это означает, что на каждой итерации
подстройка весов осуществляется по формуле
)1(,
)1(,
−
−
∂
∂
⋅η−=Δ
sij
sij
w
E
w
, (8.3)
где Δw
ij,(s-1)
– приращение веса от i-нейрона (s-2)-слоя к j-нейрону (s-1)-слоя;
η – коэффициент скорости обучения, 0<η<1.
Авторами ИНС ОРО было показано, что
)1(,)1(, −−
∂
∂
⋅⋅
∂
∂
=
∂
∂
sij
j
j
j
jsij
w
V
dV
dz
z
E
w
E
, (8.4)
где V
j
– взвешенная сумма входных сигналов j-нейрона (s-1)-слоя.
Из алгоритма ИН (8.1) следует, что V
j
c учетом порога является аргументом
y активационной функции F этого нейрона.
Второй множитель в (8.4) – производная выходного сигнала j-нейрона, а
следовательно – производная активационной функции F по ее аргументу y:
j
j
dy
ydF )(
. (8.5)
Из (8.5) следует, что производная активационной функции F должна быть
определена на всей оси абсцисс. Именно этим и обусловлено использование в
качестве активационной функции F – сигмоида.
Третий множитель в (8.4), очевидно, равен входному сигналу j-нейрона, а
значит – выходному сигналу z
i,(s-2)
i-нейрона предшествующего слоя.
Первый множитель в (8.4) раскладывается следующим образом:
∑∑
==
⋅⋅
∂
∂
=
∂
∂
⋅⋅
∂
∂
=
∂
∂
n
k
sjk
k
k
k
n
k
j
k
k
k
kj
w
dV
dz
z
E
z
V
dV
dz
z
E
z
E
1
,
1
. (8.6)
Введем новую переменную

Страницы