Нейросетевые модели для систем информационной безопасности. Брюхомицкий Ю.А. - 109 стр.

UptoLike

ВУЗ: 

ТТИ ЮФУ | Таганрог

Составители: 

Рубрика: 

109
22
)(
)(
)(
wtT
tT
wP
+
=
,
где Р(w) есть вероятность изменения веса w.
Это уравнение интегрируется стандартными методами. Решая
относительно w, получим
]})(tg[)({ wPtTw
⋅
⋅
η
=
Δ
,
где: η – коэффициент скорости обучения;
Δw – изменение веса.
Нахождение Δw осуществляется методом Монте-Карло. Для этого
выбирается случайное число, равномерно распределенное на открытом
интервале (–π/2, π/2), соответствующем изменению тангенса, и подставляется в
формулу Δw в качестве Р(w).
ИНС, использующая распределение Коши, называют машиной Коши (МК).
Скорость
обучения МК по сравнению с МБ возрастает. Однако время
сходимости остается все же достаточно большим и примерно в 100 раз
превышает время обучения ИНС ОРО. Кроме того, для МК вероятным и весьма
опасным явлением может быть паралич сети. Это связано с тем, что
бесконечная дисперсия распределения Коши может привести к
неограниченному
увеличению значений весов, особенно, если в качестве
нелинейности используется логистическая функция.
Комбинирование сетей ОРО и МК. В комбинированном алгоритме
коррекция весов состоит из двух компонент: направленной компоненты,
вычисляемой с использованием алгоритма ОРО, и случайной компоненты,
определяемой распределением Коши. Обе компоненты вычисляются для
каждого веса, и их сумма является величиной, на которую изменяется вес.
Комбинированная сеть обычно находит глобальный минимум быстрее, чем
каждая из ее составляющих отдельно.
В настоящее время существует множество модификаций стохастических
сетей, использующих имитацию отжига, а также различные комбинации сетей,
включающие стохастические методы обучения. Главным преимуществом этих
сетей является возможность достичь глобального минимума целевой функции,
избежав ловушек локальных минимумов. Стохастические и комбинированные
нейронные сети применяются для решения задач распознавания образов,
классификации, адаптивного управления, многопараметрической
идентификации
и оптимизации, прогнозирования и диагностики.

Страницы