Нейросетевые модели для систем информационной безопасности. Брюхомицкий Ю.А. - 56 стр.

UptoLike

ВУЗ: 

ТТИ ЮФУ | Таганрог

Составители: 

Рубрика: 

56
η – коэффициент скорости обучения;
1−s
p
z – выходной сигнал нейрона p слоя (s-1);
s
q
z – выходной сигнал нейрона q слоя s.
Известно также обратное правило Хебба (antihebbian learning):
s
q
s
pipqipq
zztwtw
1
1
)()(
−
−
⋅η−=
.
Правило обучения Хебба является исключительно локальным,
охватывающим взаимодействие только двух нейронов, находящихся с обеих
сторон синапса. По этой причине оно универсально и может применяться для
обучения нейрона, как без учителя, так и с учителем. В первом случае
используется фактическое значение выходного сигнала нейрона
s
q
z . Во втором
случае вместо значения
s
q
z используется желаемая выходная реакция
s
z
T
.
Особенностью правила (6.1) является то, что в результате его применения
веса могут принимать произвольно большие значения, поскольку в каждом
цикле обучения происходит суммирование текущего значения веса и его
приращения. Один из способов стабилизации процесса обучения по правилу
Хебба состоит в учете для уточнения веса последнего значения веса
)(
1−ipq
tw
,
уменьшенного с помощью коэффициента забывания γ [15]:
s
q
s
pipqipq
zztwtw
1
1
)()1()(
−
−
⋅η+⋅γ−=
. (6.2)
Значение коэффициента γ в (6.2) выбирается обычно из интервала (0, 1) и
чаще всего составляет некоторый процент от коэффициента скорости обучения
η. При больших значениях γ нейрон «забывает» значительную часть того, чему
он обучился в прошлом. Рекомендуемые значения γ < 0,1, при которых нейрон
сохраняет большую часть информации, накопленной в процессе обучения и
получает
возможность стабилизировать значения весов на определенном
уровне.
Правило Хебба может применяться для нейронных сетей различных типов
с разнообразными активационными функциями. При использовании линейной
активационной функции и правила Хебба стабилизация значений весов нейрона
вообще не наступает. Процесс становится расходящимся, и значения весов
стремятся к бесконечности даже при использовании правила (6.2). Чтобы
стабилизировать
процесс для такого случая Е. Ойя предложил модифицировать
правило (6.1) следующим образом [15]:
])([)()(
1
1
1
s
qipq
s
pipqipq
ztwztwtw ⋅−⋅η+=
−
−
−
. (6.3)

Страницы