Искусственные нейронные сети. Каширина И.Л. - 35 стр.

                                           35
                          ∆E =(−∑ wij yi +Θ j )∆y j =−( s j −Θ j )∆y j
                                  i ≠j
(здесь мы воспользовались симметричностью связей и тем, что wii=0). Допустим,
что величина s j больше порога Θ j . Тогда выражение в скобках будет положи-
тельным, а из вида активационной функции следует, что новый выход нейрона j
должен быть 1, то есть измениться в положительную сторону (или остаться без
изменения). Это значит, что ∆y j ≥0 и тогда ∆E ≤0 . Следовательно, энергия сети
либо уменьшится, либо останется без изменения. Далее, допустим, что величина
s j меньше порога. Тогда новое значение y j =-1 и величина ∆y j может быть толь-
ко отрицательной или нулем. Следовательно, опять энергия должна уменьшиться
или остаться без изменения. Если величина s j равна порогу Θ j , ∆y j равна нулю
и энергия остается без изменения.
      Эти рассуждения показывают, что любое изменение состояния нейрона ли-
бо уменьшит функцию энергии, либо оставит ее без изменения. Так как функция
энергии задана на конечном множестве ( ∀yi ∈{−1,1} ), то она ограничена снизу и
вследствие непрерывного стремления к уменьшению в конце концов должна дос-
тигнуть минимума и прекратить изменение. По определению такая сеть является
устойчивой.
      Поверхность функции энергии E в пространстве состояний имеет весьма
сложную форму с большим количеством локальных минимумов. Стационарные
состояния, отвечающие минимумам, могут интерпретироваться, как образы памя-
ти нейронной сети. Сходимость к такому образу соответствует процессу извлече-
ния из памяти. При произвольной матрице связей W образы также произвольны.
Для записи в память сети какой-либо конкретной информации требуется опреде-
ленное значение весов W, которое может получаться в процессе обучения.

                              Правило обучения Хебба

      Метод обучения для сети Хопфилда опирается на исследования Дональда
Хебба, реализовавшего простой механизм обучения, названный правилом Хебба.
Рассмотрим его подробно.
      Пусть задана обучающая выборка образов X k , k =1, K . Требуется построить
матрицу связей W, такую, что соответствующая нейронная сеть будет иметь в ка-
честве стационарных состояний образы обучающей выборки (значения порогов
нейронов Θ j положим равными нулю). В случае одного обучающего образа
X =( x1 ,..., xn ), xi ∈{−1,1} , правило Хебба приводит к матрице: wij =xi x j , i ≠ j ,
wii =0. Покажем, что состояние Y=X является стационарным для сети Хопфилда с
данной матрицей W. Действительно, значение функции энергии в состоянии X
является для нее глобальным минимумом:
                           1 n n             1 n n              1 n n           1
               E ( X ) =− ∑ ∑ wij xi x j =− ∑ ∑ xi x j xi x j =− ∑ ∑ xi2 x 2j =− n 2 ,
                           2 i =1 j =1       2 i =1 j =1        2 i =1 j =1     2
то есть сеть прекратит изменения, достигнув состояния X.