ВУЗ:
Составители:
104
10. Стохастические нейронные сети
Стохастическое обучение в ИНС.
Целью стохастического обучения
является такая подстройка весов связей, при которой состояния нейронов
удовлетворяют желаемому распределению вероятностей.
Простейшим принципом стохастического обучения ИНС с прямыми
связями является поиск в случайном направлении. Обучение осуществляется с
учителем. Перед обучением весам сети придаются небольшие случайные
значения, равномерно распределенные в заданном диапазоне (обычно 0-1). Сети
поочередно предъявляются
входные образы из обучающей выборки и
вычисляются выходные векторы. Реально полученный выходной вектор
Z
A
покомпонентно сравнивается с желаемым выходным вектором сети
Z
T
по
формуле
∑
=
−=
n
i
ii
zzS
1
2
TA
)(
,
где z
Ai
– фактический выходной сигнал;
z
Ti
– желаемый (терминальный) выходной сигнал;
S – целевая функция.
Цель обучения – минимизация целевой функции S. Процедура коррекции
весов некоторого нейрона сводится к случайному выбору весового
коэффициента этого нейрона и случайному его изменению. Если коррекция
помогает (уменьшает S), то она сохраняется, в противном случае происходит
возврат к прежнему значению весового коэффициента. Итерации повторяются
до тех пор, пока сеть не будет обучена в достаточной степени.
Ловушки локальных минимумов. Сложность обучения заключается в
том, что процесс минимизации целевой функции может попасть в ловушку
локального минимума. Рис. 10.1 иллюстрирует проблему в системе с
единственным весом [16].
Рис. 10.1. Проблема локальных минимумов
А
Значение веса
S
В
Страницы
- « первая
- ‹ предыдущая
- …
- 102
- 103
- 104
- 105
- 106
- …
- следующая ›
- последняя »
