Нейросетевые технологии. Каширина И.Л. - 46 стр.

UptoLike

ВУЗ: 

ВГУ | Воронеж

Составители: 

Рубрика: 

46
Совокупность выходных значений всех нейронов
i
y на некотором
этапе N образует вектор состояния сети
N
Y
. Нейродинамика приводит к
изменению вектора состояния на
1+N
Y
.
Обозначим силу синапсической связи от i-го входа к j-му нейрону
как w
ij
. Каждый j-й нейрон сети реализует пороговую активационную
функцию следующего вида:
1
1, ;
() 1, ;
,.
j
j
N
jjjj
N
j
jj
s
yfs s
ys
+
⎧
−
<Θ
⎪
⎪
⎪
==>Θ
⎨
⎪
⎪
=
Θ
⎪
⎩
Здесь
∑
=
⋅=
n
i
ij
N
ij
wys
1
,
N
j
y – значение выхода j-го нейрона на предыдущем
этапе функционирования сети,
j
Θ
– пороговое значение j-го нейрона.
В модели Хопфилда предполагается условие симметричности свя-
зей w
ij
=w
ji
, с нулевыми диагональными элементами w
ii
=0. Устойчивость
такой сети может быть доказана следующим образом. Ведем в рассмотре-
ние функцию, зависящую от состояния сети Y и называемую функцией
энергии сети Хопфилда:
11 1
1
() .
2
nn n
ij i j j j
ij j
E
Ywyyy
== =
=− + Θ
∑∑ ∑
Вычислим изменение функции энергии
Е, вызванное изменением
состояния j-нейрона
j
yΔ :
jjjjji
ji
ij
ysyywE
Δ
Θ
−
−
=
Δ
Θ
+
−=Δ
∑
≠
)()(
(здесь мы воспользовались симметричностью связей и тем, что w
ii
= 0).
Допустим, что величина
j
s больше порога
j
Θ
. Тогда выражение в скобках
будет положительным, а из вида активационной функции следует, что но-
вый выход нейрона j должен быть 1, то есть измениться в положительную
сторону (или остаться без изменения). Это значит, что 0≥Δ
j
y и тогда
0≤Δ
E
. Следовательно, энергия сети либо уменьшится, либо останется без
изменения. Далее, допустим, что величина
j
s меньше порога. Тогда новое
значение
j
y
=
–1 и величина
j
y
Δ
может быть только отрицательной или
нулем. Следовательно, опять энергия должна уменьшиться или остаться
без изменения. Если величина
j
s равна порогу
j
Θ
,
j
y
Δ
равна нулю и энер-
гия остается без изменения. 
     Совокупность выходных значений всех нейронов yi на некотором
этапе N образует вектор состояния сети Y N . Нейродинамика приводит к
изменению вектора состояния на Y N +1 .
      Обозначим силу синапсической связи от i-го входа к j-му нейрону
как wij. Каждый j-й нейрон сети реализует пороговую активационную
функцию следующего вида:


                                                ⎧
                                               ⎪ −1, s j < Θ j ;
                                               ⎪⎪
                         y Nj +1 = f ( s j ) = ⎨ 1, s j > Θ j ;
                                                ⎪
                                                ⎪ N
                                                ⎪⎩ y j , s j = Θ j .
           n
Здесь s j = ∑ yiN ⋅ wij , y Nj – значение выхода j-го нейрона на предыдущем
          i =1
этапе функционирования сети, Θ j – пороговое значение j-го нейрона.
      В модели Хопфилда предполагается условие симметричности свя-
зей wij=wji, с нулевыми диагональными элементами wii=0. Устойчивость
такой сети может быть доказана следующим образом. Ведем в рассмотре-
ние функцию, зависящую от состояния сети Y и называемую функцией
энергии сети Хопфилда:
                                   1 n n             n
                         E (Y ) = − ∑∑ wij yi y j + ∑Θ j y j .
                                   2 i =1 j =1      j =1

      Вычислим изменение функции энергии Δ Е, вызванное изменением
состояния j-нейрона Δy j :
                     ΔE = (− ∑ wij yi + Θ j )Δy j = −( s j − Θ j )Δy j
                               i≠ j
(здесь мы воспользовались симметричностью связей и тем, что wii = 0).
Допустим, что величина s j больше порога Θ j . Тогда выражение в скобках
будет положительным, а из вида активационной функции следует, что но-
вый выход нейрона j должен быть 1, то есть измениться в положительную
сторону (или остаться без изменения). Это значит, что Δy j ≥ 0 и тогда
ΔE ≤ 0 . Следовательно, энергия сети либо уменьшится, либо останется без
изменения. Далее, допустим, что величина s j меньше порога. Тогда новое
значение y j = –1 и величина Δy j может быть только отрицательной или
нулем. Следовательно, опять энергия должна уменьшиться или остаться
без изменения. Если величина s j равна порогу Θ j , Δy j равна нулю и энер-
гия остается без изменения.

                                            46

Страницы