ВУЗ:
Составители:
57
Доказано, что применение модифицированного правила (6.3) приводит к
сходящемуся процессу, при котором модуль вектора весов нейрона стремится к
единице.
Если в сети используется сигмоидальная активационная функция
)exp(1
1
)(
s
q
s
q
s
q
ya
yFz
⋅−+
==
и правило обучения Хебба, то метод обучения сети с использованием правила
(6.1) принято называть сигнальным методом обучения Хебба. Этот метод
предполагает вычисление свертки предыдущих изменений выходных значений
1−s
p
z для определения изменения весов:
1
1
−
=
⋅=
∑
s
p
N
p
pq
s
q
zwy .
Существует также дифференциальный метод обучения Хебба [16],
который заключается в усилении весов связей между нейронами, которые
увеличили свои выходные сигналы между итерациями t
i-1
и t
i
:
)]()([)]()([)()(
11
11
1 −−
−−
−
−⋅−⋅η+=
i
s
qi
s
qi
s
pi
s
pipqipq
tztztztztwtw
,
где
)(),(
1
11
−
−−
i
s
pi
s
p
tztz
– выходной сигнал нейрона p слоя (s-1) соответственно на
итерациях t
i
и t
i-1
;
)(),(
1−i
s
qi
s
q
tztz – выходной сигнал нейрона q слоя s соответственно на
итерациях t
i
и t
i-1
.
Метод соревнований (Кохонена). В отличие от методов Хебба, в которых
в некотором слое s могут возбуждаться одновременно множество нейронов, при
обучении методом соревнований нейроны некоторого слоя s соревнуются
между собой за право активизации. Это явление известно, как правило
«победитель забирает все» (Winner Takes All – WTA) и также имеет
нейрофизиологическую аналогию. Обучение этим методом сводится к
минимизации разницы
между входными сигналами данного нейрона,
поступающими с выходов нейронов предыдущего слоя, и весовыми
коэффициентами данного нейрона:
)].([)()(
1
1
1 −
−
−
−⋅η+=
ipq
s
pipqipq
twztwtw
Страницы
- « первая
- ‹ предыдущая
- …
- 55
- 56
- 57
- 58
- 59
- …
- следующая ›
- последняя »
