ВУЗ:
Составители:
105
Допустим, в результате случайных коррекций вес принял значение,
близкое к точке А. Если дальнейшие случайные изменения веса будут малы, то
любые отклонения от точки А приводят к увеличению целевой функции S, и,
следовательно, будут отвергнуты. Система окажется в ловушке локального
минимума (точка А) и никогда не сможет достичь абсолютного минимума
(
точка В). Если случайные коррекции веса в области точки А будут очень
велики, система будет сильно колебаться во всем диапазоне весов и может
также никогда не остановиться в точке абсолютного минимума В.
Проблема попадания нейронной сети в ловушки локальных минимумов
свойственна всем алгоритмам обучения и может быть решена с помощью
стохастических
методов. Полезная стратегия в такой ситуации заключается в
больших начальных шагах и постепенном уменьшении размера среднего
случайного шага. Это позволяет сети вырваться из локальных минимумов и в то
же время гарантирует ее окончательную стабилизацию в глобальном минимуме.
Введем горизонтальную и вертикальную границы двумерной системы,
изображенной на рис. 10.1, с тем, чтобы
шарик мог перемещаться по кривой
поверхности в этих границах. Если теперь всю систему сильно трясти в
горизонтальной плоскости, то шарик будет быстро перекатываться от одной
вертикальной границы к другой, нигде не задерживаясь. В каждый момент
времени шарик будет с равной вероятностью находиться в любой точке
поверхности. Если постепенно уменьшать силу встряхивания
, то будет
достигнуто условие, при котором шарик будет на короткое время «застревать» в
точке В. Если постепенно уменьшать силу встряхивания, возникнет условие,
когда шарик будет на короткое время «застревать» как в точке В, так и в точке
А. При дальнейшем уменьшении силы встряхивания будет достигнута
критическая точка, когда сила встряхивания
будет достаточна для перемещения
шарика из точки А в точку В, но недостаточна для обратного подъема шарика в
точку А. В результате, когда амплитуда встряхивания уменьшится до нуля,
шарик окончательно остановится в точке глобального минимума В. Этот
процесс иллюстрирует рис. 10.2.
Рис. 10.2. Преодоление проблемы локальных минимумов
Значение
веса
S
Встряхивание
А
В
Страницы
- « первая
- ‹ предыдущая
- …
- 103
- 104
- 105
- 106
- 107
- …
- следующая ›
- последняя »
