Нейросетевые модели для систем информационной безопасности. Брюхомицкий Ю.А. - 53 стр.

UptoLike

ВУЗ: 

ТТИ ЮФУ | Таганрог

Составители: 

Рубрика: 

53
где z
Ai
– фактический выходной сигнал нейрона i;
z
Ti
– желаемый выходной сигнал нейрона i;
S – целевая функция.
Цель обучения – минимизация целевой функции S. Процедура коррекции
весов некоторого нейрона сводится к случайному выбору весового
коэффициента этого нейрона и случайному его изменению. Если коррекция
помогает (уменьшает S), то она сохраняется, в противном случае происходит
возврат к прежнему значению весового коэффициента. Итерации
повторяются
до тех пор, пока сеть не будет обучена в достаточной степени.
Имитация отжига (машина Больцмана и машина Коши). Отличие
этого алгоритма от предыдущего заключается в возможности постепенного
уменьшения случайной коррекции весовых коэффициентов, что позволяет
выйти сети из тупиков локальных экстремумов и достичь глобального
экстремума целевой функции. Этот процесс напоминает отжиг металла,
поэтому для его описания и применяется термин «имитация отжига».
Цель обучения, по-прежнему, – минимизация целевой функции S.
Процедура коррекции весов некоторого нейрона сводится к случайному выбору
весового коэффициента этого нейрона и случайному его изменению. Если
коррекция помогает (уменьшает S), то она сохраняется, в противном случае
вероятность сохранения изменения веса вычисляется в соответствии с
распределением Больцмана
Tk
w
ewP
⋅
−
=)(
,
где: Р(w) – вероятность изменения веса w в целевой функции S;
k – константа, аналогичная константе Больцмана (выбирается в
зависимости от задачи);
Т – искусственная температура.
Случайное изменение веса и вычисление вероятности Р(w) повторяют для
каждого веса сети, постепенно уменьшая температуру Т, пока не будет
достигнуто допустимо низкое значение целевой
функции S. Потом
предъявляется другой входной вектор из обучающей выборки и процесс
обучения повторяется. Обучение последовательно повторяется для всех
векторов обучающей выборки, пока целевая функция S не станет допустимой
для всех из них.
ИНС, использующую имитацию отжига на основе распределения
Больцмана, называют машиной Больцмана.
Чтобы достигнуть сходимости ИНС типа машины
Больцмана к
глобальному минимуму требуется очень медленная скорость «охлаждения» –
уменьшения искусственной температуры Т, что приводит соответственно к
длительному процессу обучения. Для ускорения обучения вместо

Страницы