Нейросетевые технологии. Каширина И.Л. - 42 стр.

стремятся к состоянию минимума энергии, но при высоких температурах
энергия атомных движений препятствует этому. В процессе постепенного
охлаждения металла возникают все более низкоэнергетические состояния,
пока в конце концов не будет достигнуто наиболее низкое из возможных
состояний – глобальный минимум. В процессе отжига распределение энер-
                                                                              −E
гетических уровней описывается следующим соотношением: P ( E ) =           ,e kT
где Р(E) – вероятность того, что система находится в состоянии с энергией E;
k – постоянная Больцмана; Т – температура по шкале Кельвина.
      При высоких температурах Р(E) приближается к единице для всех
энергетических состояний. Таким образом, высокоэнергетическое состоя-
ние почти столь же вероятно, как и низкоэнергетическое. По мере умень-
шения температуры вероятность высокоэнергетических состояний умень-
шается по сравнению с низкоэнергетическими. При приближении темпера-
туры к нулю становится весьма маловероятным, чтобы система находилась
в высокоэнергетическом состоянии.
      Этот стохастический метод непосредственно применим к обучению
искусственных нейронных сетей и относится к классу алгоритмов обуче-
ния с учителем.

                    Алгоритм обучения Больцмана
Шаг 1. Определить переменную Т, представляющую искусственную тем-
пературу. Придать Т большое начальное значение.
Шаг 2. Подать на вход сети один из входных образов обучающей выборки
и вычислить реальный выход и значение функции ошибки сети (как в ал-
горитме обратного распространения).
Шаг 3. Придать случайное изменение Δwij выбранному весу wij и пере-
считать выход сети и изменение функции ошибки в соответствии со сде-
ланным изменением веса.
Шаг 4. Если функция ошибки уменьшилась, то сохранить изменение веса.
Если изменение веса приводит к увеличению функции ошибки, то вероят-
ность сохранения этого изменения вычисляется с помощью распределения
                          − Δwij

Больцмана: P(Δwij ) = e     T      . Выбирается случайное число r из равномерно-
го распределения от нуля до единицы. Если P( Δwij ) больше, чем r, то из-
менение сохраняется, в противном случае величина веса возвращается к
предыдущему значению.
Шаг 5. Повторять шаги 3 и 4 для каждого из весов сети, постепенно
уменьшая температуру Т, пока не будет достигнуто допустимо низкое зна-
чение целевой функции.

                                           42