Нейросетевые структуры и технологии. Часть 1. Электрические и математические модели нейронов. НС прямого распространения. Клюкин В.И - 35 стр.

летворительным, то процесс обучения можно повторить, используя новые (как
                                        �
правило, случайные) начальные значения w0 или изменяя случайным образом
найденное ранее решение («встряхивание» весов). Подобный прием – приме-
нение стохастических алгоритмов к детерминированным методам обучения –
связан с определенной вероятностью того, что новый поиск будет покидать
«зоны притяжения» найденных ранее локальных минимумов. При решении
реальных задач даже приблизительная оценка глобального минимума оказы-
вается неизвестной, что требует, в общем, применения методов глобальной
оптимизации, среди которых наиболее разработаны метод имитации отжига,
генетические алгоритмы и метод виртуальных частиц.
3.2.4.1. Метод имитации отжига (ИО)
        Предложенный Н. Метрополисом в 1953 году, метод ИО представля-
ет собой алгоритмический аналог физического процесса управляемого ох-
лаждения, при котором кристаллизация расплава сопровождается глобаль-
ным уменьшением его энергии, причем допускаются ситуации кратковре-
менного повышения энергетического уровня (например, при небольшом
подогреве), способствующие выводу из ловушек локальных минимумов
энергии, возникающих при реализации процесса. Классический алгоритм
ИО можно представить следующим образом:
        1. Определяем некоторую начальную переменную («температуру»
                                                                           �
T = Tmax и запускаем процесс обучения НС из некоторой начальной точки w0 .
        2. Пока Т > 0, повторяем L раз следующие шаги:
                                     �                  �
        � выбираем новое решение wt из окрестности w0 ;
                                                             �      �
        � рассчитываем изменение целевой функции � � E ( wt ) � E ( w0 ) ;
                                  �     �
        � если � � 0, принимаем wt �1 � wt ;
                                                      �      �
        � если � > 0, то вычисляем вероятность P � exp � � , выбираем слу-
                                                             T
                                             �   �
чайное число R � (0,1) и, если R � P, то wt �1 � wt , в противном случае (R>P)
 �      �
wt �1 � w0 .
        3. Уменьшаем температуру (Tk = rTk–1) с использованием коэффициента
уменьшения r � (0,1) и повторяем п. 2.
        4. При снижении Т до нуля обучаем НС любым из представленных
выше детерминированных методов.
        Эффективность метода ИО сильно зависит от выбора Tmax, L и r. Вели-
чина Tmax определяется из предварительных имитационных экспериментов
таким образом, чтобы обеспечить реализацию не менее 50 % последующих
случайных изменений решения. Выбор максимальных L и r для конкретных
температурных уровней менее однозначен и должен учитывать динамику из-
              �
менения E ( w) в зависимости от количества выполненных циклов обучения.
Общие рекомендации, вытекающие из компьютерных экспериментов, тако-
вы: если время обучения ограничено, его лучше потратить на один процесс
                                         35