ВУЗ:
Составители:
106
Аналогичным образом можно обучать ИНС. Очевидно, что сила
встряхивания системы весов эквивалентна амплитуде их среднего случайного
изменения. Поэтому при обучении сети вначале делают большие случайные
коррекции весов с сохранением только тех изменений весов, которые
уменьшают целевую функцию. Затем средний размер коррекции постепенно
уменьшают, что позволяет в итоге достичь глобального минимума целевой
функции S.
Отжиг металла и его имитация [16]. Описанный выше процесс
напоминает отжиг металла. В металле, нагретом до температуры,
превышающей точку плавления, атомы находятся в сильно беспорядочном
движении. Как и во всех физических системах, атомы стремятся к состоянию
минимума энергии. В процессе постепенного охлаждения возникают все более
низкоэнергетические состояния, пока не будет достигнуто состояние с
минимумом энергии – глобальный минимум
. Распределение энергетических
уровней в процессе отжига описывается законом Больцмана:
kT
Е
eЕP
−
=)(
,
где: Р(Е) – вероятность того, что система находится в состоянии с энергией Е;
k – постоянная Больцмана;
Т – температура по шкале Кельвина.
При высоких температурах Р(Е) близко к 1 для всех энергетических
состояний, т.е. разноэнергетические состояния равновероятны. По мере
уменьшения температуры вероятность высокоэнергетических состояний
уменьшается, а низкоэнергетических – возрастает. При
температуре, близкой к
0, вероятность высокоэнергетического состояния близка к 0.
Процесс отжига металла может быть искусственно воспроизведен при
обучении ИНС, поэтому для его описания применяется термин «имитация
отжига».
Вербальное описание стохастического алгоритма обучения для одного
слоя сети:
1
0
. Придать всем весам слоя сети
njmiw
ij
,1;,1, ==
небольшие случайные
значения, равномерно распределенные в заданном диапазоне.
2
0
. Определить переменную Т как искусственную температуру и придать
ей большое начальное значение.
3
0
. Предъявить сети входной вектор Х
р
из обучающего множества Ψ = {Ψ
1
,
Ψ
2
, …, Ψ
L
},
Lp ,1=
и вычислить выходной вектор Z
А
.
4
0
. Вычислить целевую функцию S по формуле
Страницы
- « первая
- ‹ предыдущая
- …
- 104
- 105
- 106
- 107
- 108
- …
- следующая ›
- последняя »
