Методические указания к лабораторным работам по курсу "Нейрокомпьютерные системы". Домашова Д.В - 17 стр.

разу


3.2 Сеть Хопфилда

     Хотя многочисленные результаты моделирования демонстрировали ста-
бильность ансамблевых сетей с обратными связями и хеббовским правилом обу-
чения (эволюцию сети к устойчивому состоянию), отсутствие математического
обоснования такого поведения препятствовало их популярности.
     Положение изменилось с появлением работ в 1982 г. американский биофи-
зик Джон Хопфилд, где было определено подмножество нейронных сетей с обрат-
ными связями, которые гарантированно достигают устойчивого состояния.
     Хопфилд рассмотрел поведение модели полно связной сети бинарных ней-
роподобных элементов с симметричными связями ω ij = ω ji .
     Элементы функционировали в асинхронном режиме, т. е. каждый нейрон в
случайные моменты времени с некоторой средней частотой определял свое со-
стояние в соответствии с правилом.
                                         n

                                1, S = ∑ ω i xi > Q можно взять Q = 0
                              y=       i =1                                            (3.1)
                                0, S ≤ 0
                                
     Это позволило описать поведение сети как релаксационный процесс, при
котором минимизируется энергетическая функция Е (функция Ляпунова, гамиль-
тониан) модели:
                                    1
                              Е=−     ∑ ∑ ω ij yi y j + ∑i Qi yi
                                    2 i j
                                                                                        (3.2)
     где wii — матрица связей; у и Q — состояние и порог модельного нейрона.
     Изменение Е при изменении состояния нейрона (учитывая симметрию wii и
полагая Q=0)
                             ∆E = − ∆y i ∑ ω ij y j                       (3.3)
                                          j

       Так как знак ∆yi совпадает со знаком     ∑ωj
                                                      ij   y j , ясно, что Е по мере срабаты-

вания нейронов будет монотонно убывать, а так как Е ограничена, будет достиг-
нуто состояние ее минимума.
      Таким образом, эволюция сети из любого начального состояния приводит к
состоянию, соответствующему локальному минимуму Е.
      Далее Хопфилд исследовал сеть с нейроподобными элементами, имеющи-
 ми сигмовидную характеристику. Состояния нейронов такой сети изменяются
 одновременно и непрерывно, и сеть описывается системой дифференциальных
 уравнений. Хопфилд доказал сходимость и такой сети к стабильным энергетиче-
 ским минимумам и нашел соответствие между ее устойчивыми состояниями и ус-

18