Искусственные нейронные сети. Каширина И.Л. - 30 стр.

                                     30
      В качестве объясняющей аналогии предположим, что на рис. 15 изображен
шарик на поверхности в коробке. Если коробку сильно потрясти в горизонталь-
ном направлении, то шарик будет быстро перекатываться от одного края к друго-
му. Нигде не задерживаясь, в каждый момент шарик будет с равной вероятностью
находиться в любой точке поверхности. Если постепенно уменьшать силу встря-
хивания, то будет достигнуто условие, при котором шарик будет на короткое вре-
мя “застревать” в точке В. При еще более слабом встряхивании шарик будет на
короткое время останавливаться как в точке А, так и в точке В. При непрерывном
уменьшении силы встряхивания будет достигнута критическая точка, когда сила
встряхивания достаточна для перемещения шарика из точки А в точку В, но не-
достаточна для того, чтобы шарик мог выбраться из В в А. Таким образом, окон-
чательно шарик остановится в точке глобального минимума, когда амплитуда
встряхивания уменьшится до нуля.

                        6.1. Обучение Больцмана

      Искусственные нейронные сети могут обучаться по существу тем же самым
образом посредством случайной коррекции весов. Вначале делаются большие
случайные коррекции с сохранением только тех изменений весов, которые
уменьшают целевую функцию. Затем средний размер шага постепенно уменьша-
ется, и глобальный минимум в конце концов достигается.
      Это сильно напоминает отжиг металла, поэтому для ее описания часто ис-
пользуют термин “имитация отжига”. В металле, нагретом до температуры, пре-
вышающей его точку плавления, атомы находятся в сильном беспорядочном дви-
жении. Как и во всех физических системах, атомы стремятся к состоянию мини-
мума энергии, но при высоких температурах энергия атомных движений препят-
ствует этому. В процессе постепенного охлаждения металла возникают все более
низкоэнергетические состояния, пока в конце концов не будет достигнуто наибо-
лее низкое из возможных состояний - глобальный минимум. В процессе отжига
распределение энергетических уровней описывается следующим соотношением:
        −E
     =e kT
P( E )     , где Р(E) – вероятность того, что система находится в состоянии с
энергией E; k – постоянная Больцмана; Т – температура по шкале Кельвина.
При высоких температурах Р(E) приближается к единице для всех энергетических
состояний. Таким образом, высокоэнергетическое состояние почти столь же веро-
ятно, как и низкоэнергетическое. По мере уменьшения температуры вероятность
высокоэнергетических состояний уменьшается по сравнению с низкоэнергетиче-
скими. При приближении температуры к нулю становится весьма маловероятным,
чтобы система находилась в высокоэнергетическом состоянии.
Этот стохастический метод непосредственно применим к обучению искусствен-
ных нейронных сетей и относится к классу алгоритмов обучения с учителем .