Нейросетевые технологии. Каширина И.Л. - 47 стр.

       Эти рассуждения показывают, что любое изменение состояния ней-
рона либо уменьшит функцию энергии, либо оставит ее без изменения. Так
как функция энергии задана на конечном множестве ( ∀yi ∈ {−1,1} ), то она
ограничена снизу и вследствие непрерывного стремления к уменьшению в
конце концов должна достигнуть минимума и прекратить изменение. По
определению такая сеть является устойчивой.
       Поверхность функции энергии E в пространстве состояний имеет
весьма сложную форму с большим количеством локальных минимумов.
Стационарные состояния, отвечающие минимумам, могут интерпретиро-
ваться, как образы памяти нейронной сети. Сходимость к такому образу
соответствует процессу извлечения из памяти. При произвольной матрице
связей W образы также произвольны. Для записи в память сети какой-либо
конкретной информации требуется определенное значение весов W, кото-
рое может получаться в процессе обучения.
                                     Правило обучения Хебба
       Метод обучения для сети Хопфилда опирается на исследования До-
нальда Хебба, реализовавшего простой механизм обучения, названный
правилом Хебба. Рассмотрим его подробно.
       Пусть задана обучающая выборка образов X k , k = 1, K . Требуется
построить такую матрицу связей W, что соответствующая нейронная сеть
будет иметь в качестве стационарных состояний образы обучающей вы-
борки (значения порогов нейронов Θ j положим равными нулю). В случае
одного обучающего образа X = ( x1 ,..., xn ), xi ∈ {−1,1} , правило Хебба приво-
дит к матрице: wij = xi x j , i ≠ j , wii = 0. Покажем, что состояние Y=X явля-
ется стационарным для сети Хопфилда с данной матрицей W. Действи-
тельно, значение функции энергии в состоянии X является для нее гло-
бальным минимумом:
                        1 n n               1 n n               1 n n 2 2     1
        E ( X ) = − ∑ ∑ wij xi x j = − ∑ ∑ xi x j xi x j = − ∑ ∑ xi x j = − n 2 ,
                        2 i =1 j =1         2 i =1 j =1         2 i =1 j =1   2
то есть сеть прекратит изменения, достигнув состояния X.
Для запоминания K образов применяется итерационный процесс:
wijk = wijk −1 + xik x kj , k = 1, K (считаем, что wij0 = 0 ). Этот процесс приводит к
                                     K
полной матрице связей:        wij = ∑ xik x kj .
                                    k =1
      Сеть Хопфилда нашла широкое применение в системах ассоциатив-
ной памяти, позволяющих восстанавливать идеальный образ по имеющей-
ся неполной или зашумленной его версии.
Пример. В качестве примера рассмотрим сеть, состоящую из 70 нейронов,
упорядоченных в матрицу 10 × 7.
                                           47