ВУЗ:
Составители:
52
выхода из тупиков локальных экстремумов, путем случайного изменения
искомых параметров сети (весов связей) в заданном диапазоне. Такую
процедуру называют «выбиванием» сети из локального экстремума.
Существенный недостаток стохастического обучения состоит в очень низкой
скорости, что делает его непригодным для обучения сетей большой
размерности.
Правила обучения
Известны четыре основных типа правил обучения (самообучения):
− коррекция по ошибке;
− стохастическое обучение;
− правило Хебба;
− метод соревнований (Кохонена).
Первые два типа правил применяются в алгоритмах обучения с учителем, а
вторые два – при самообучении.
Правило коррекции по ошибке. Для каждого входного сигнала
обучающей выборки учителем задается правильный (целевой, терминальный,
желаемый) выходной сигнал
Z
Т
. После подачи входного сигнала сеть выдает
реальный выходной сигнал
Z
А
, который может совпадать или не совпадать с
целевым. Сигнал разности или ошибки (
Z
Т
−Z
А
) используется для модификации
весов с целью уменьшения этой ошибки. Известны различные модификации
этого правила, на основе которых конструируются градиентные алгоритмы
обучения. Все градиентные алгоритмы обучения сетей основаны на вычислении
частных производных функций ошибки по параметрам сети (градиентный спуск
по поверхности ошибки).
Стохастическое обучение. Целью стохастического обучения является
такая подстройка весов связей, при которой состояния нейронов удовлетворяют
желаемому распределению вероятностей. Стохастическое обучение может
рассматриваться как специальный случай коррекции по ошибке.
К стохастическим алгоритмам обучения относятся: поиск в случайном
направлении, имитация отжига (машина Больцмана и машина Коши), методы
генетической эволюции.
При поиске в случайном направлении
полученный на выходе ИНС вектор
Z
А
сравнивается покомпонентно с желаемым выходным вектором сети Z
Т
. При
однократном предъявлении образца (размер обучающей выборки L=1)
Сравнение обычно осуществляется по формуле
∑
=
−=
N
i
ii
zzS
1
2
TA
)(
2
1
,
Страницы
- « первая
- ‹ предыдущая
- …
- 50
- 51
- 52
- 53
- 54
- …
- следующая ›
- последняя »
