Нейросетевые структуры и технологии. Часть 1. Электрические и математические модели нейронов. НС прямого распространения. Клюкин В.И - 20 стр.

UptoLike

ВУЗ: 

ВГУ | Воронеж

Составители: 

Рубрика: 

20
«Instar» и «Outstar» существенно отличаются от предыдущих типов нейро-
нов прежде всего тем, что могут обучаться как с учителем (в этом случае
y
i
= d
i
), так и без него.
2.5. Модель нейрона Хебба
В процессе исследования свойств нервных клеток Д. Хебб заметил, что
связь между двумя клетками усиливается, если обе клетки активируются од-
новременно, и предложил формальное правило обучения, в соответствии с ко-
торым вес w
ij
нейрона изменяется пропорционально произведению его вход-
ного и выходного сигналов. Правило Хебба может применяться для НС раз-
личных типов с любыми функциями активации отдельных нейронов.
Структурная схема нейрона Хебба аналогична стандартной струк-
туре ФН (рис. 2.1), обучение – по правилу Хебба
(1)(),
ijijij
wtwtw
+=+D
где для обучения с учителем
η ,
ijji
wxd
(2.17)
а для обучения без учителя
η .
ijji
wxy
(2.18)
При обучении по Хеббу веса w
ij
могут принимать сколь угодно
большие значения, поскольку на каждой итерации текущее значение w
ij
(t)
S
x
1
x
2
x
N
w
ij
Рис. 2.4. Структурные схемы нейронов Гроссберга:
а – «Instar»; б – «Outstar»
w
i1
w
i2
w
iN
f(u
i
)
y
i
x
j
а)
б)
S
y
1
S
y
2
S
y
M
x
i
w
Mi
w
2i
w
1i 
«Instar» и «Outstar» существенно отличаются от предыдущих типов нейро-
нов прежде всего тем, что могут обучаться как с учителем (в этом случае
yi = di), так и без него.

      а)    x1               wi1
           x2          wi2                                                 yi
                       wij          ��                     f(ui)
           xj
                 xN           wiN

      б)
                                         w1i        ��                y1

                                          w2i
                  xi
                                                    ��                y2
                                         wMi
                                                    ��                yM

                  Рис. 2.4. Структурные схемы нейронов Гроссберга:
                                     а – «Instar»; б – «Outstar»

2.5. Модель нейрона Хебба
      В процессе исследования свойств нервных клеток Д. Хебб заметил, что
связь между двумя клетками усиливается, если обе клетки активируются од-
новременно, и предложил формальное правило обучения, в соответствии с ко-
торым вес wij нейрона изменяется пропорционально произведению его вход-
ного и выходного сигналов. Правило Хебба может применяться для НС раз-
личных типов с любыми функциями активации отдельных нейронов.
      Структурная схема нейрона Хебба аналогична стандартной струк-
туре ФН (рис. 2.1), обучение – по правилу Хебба

                                    wij (t � 1) � wij (t ) � �wij ,

где для обучения с учителем

                                           �wij � ηx j di ,                     (2.17)
а для обучения без учителя

                                           �wij � ηx j yi .                     (2.18)

     При обучении по Хеббу веса wij могут принимать сколь угодно
большие значения, поскольку на каждой итерации текущее значение wij(t)

                                                      20

Страницы