Нейросетевые технологии. Каширина И.Л. - 41 стр.

      Локальные минимумы мешают всем алгоритмам обучения, основан-
ным на поиске минимума функции ошибки, включая сети обратного рас-
пространения, и представляют серьезную и широко распространенную
проблему. Стохастические методы позволяют решить эту проблему. Стра-
тегия коррекции весов, вынуждающая веса принимать значение глобаль-
ного оптимума, возможна.




                Рис. 22. Проблема локальных минимумов

      В качестве объясняющей аналогии предположим, что на рис. 22
изображен шарик на поверхности в коробке. Если коробку сильно потря-
сти в горизонтальном направлении, то шарик будет быстро перекатываться
от одного края к другому. Нигде не задерживаясь, в каждый момент шарик
будет с равной вероятностью находиться в любой точке поверхности. Если
постепенно уменьшать силу встряхивания, то будет достигнуто условие,
при котором шарик будет на короткое время «застревать» в точке В. При
еще более слабом встряхивании шарик будет на короткое время останав-
ливаться как в точке А, так и в точке В. При непрерывном уменьшении си-
лы встряхивания будет достигнута критическая точка, когда сила встряхи-
вания достаточна для перемещения шарика из точки А в точку В, но не-
достаточна для того, чтобы шарик мог выбраться из В в А. Таким образом,
окончательно шарик остановится в точке глобального минимума, когда
амплитуда встряхивания уменьшится до нуля.

                     6.1. Обучение Больцмана
      Искусственные нейронные сети могут обучаться по существу тем же
самым образом посредством случайной коррекции весов. Вначале делаются
большие случайные коррекции с сохранением только тех изменений весов,
которые уменьшают целевую функцию. Затем средний размер шага посте-
пенно уменьшается, и глобальный минимум в конце концов достигается.
      Это сильно напоминает отжиг металла, поэтому для ее описания час-
то используют термин «имитация отжига». В металле, нагретом до темпе-
ратуры, превышающей его точку плавления, атомы находятся в сильном
беспорядочном движении. Как и во всех физических системах, атомы

                                  41