Нейросетевые структуры и технологии. Часть 1. Электрические и математические модели нейронов. НС прямого распространения. Клюкин В.И - 21 стр.

UptoLike

ВУЗ: 

ВГУ | Воронеж

Составители: 

Рубрика: 

21
суммируется с его приращением Dw
ij
. Обеспечить сходимость процесса
обучения возможно: 1) введением коэффициента забывания g
(
)
(1)()1
γ ,
ijijij
wtwtw
+=-+D
(2.19)
где при рекомендуемом g < 0,1 нейрон сохраняет бóльшую часть информа-
ции, накопленной в процессе обучения, и получает возможность стабили-
зировать w
ij
на определенном уровне; 2) использованием для обучения ли-
нейных нейронов, где стабилизации не происходит даже при введении g,
модифицированного правила Хебба–Ойя, согласно которому
(
)
η
ijijiij
D=-, (2.20)
что приводит к ограничению |w|=1, обеспечивающему конечность значе-
ний весовых коэффициентов.
2.6. Нейроны типа WTA
Нейроны типа WTA (Winner Takes All – Победитель получает все)
представляют группу конкурирующих между собой нейронов, получаю-
щих одни и те же входные сигналы x
j
(рис. 2.5). Сравнением выходных
значений сумматоров (2.4) определяется нейрон-победитель с максималь-
ной величиной u
i
, на его выходе устанавливается сигнал y
i
= 1, остальные
(проигравшие) нейроны переходят в состояние 0, что блокирует процесс
уточнения их весовых коэффициентов. Веса же победившего нейрона
уточняются по упрощенному (ввиду бинарности значений выходных сиг-
налов) правилу Гроссберга
(1)()()
ijijjij
wtwtxwt
h
éù
+=+-
ëû
(2.21)
с нормализацией x
j
и w
ij
.
Рис. 2.5. Схема соединения нейронов типа WTA
S
u
1
S
S
x
1
w
11
x
2
x
N
w
1N
w
12
w
k1
w
k2
w
kN
y
1
u
2
u
k
Механизм
конкурен-
ции
нейронов
y
2
y
k 
суммируется с его приращением �wij. Обеспечить сходимость процесса
обучения возможно: 1) введением коэффициента забывания �

                                  wij (t � 1) � wij (t ) �1 � γ � � �wij ,        (2.19)
где при рекомендуемом � < 0,1 нейрон сохраняет бóльшую часть информа-
ции, накопленной в процессе обучения, и получает возможность стабили-
зировать wij на определенном уровне; 2) использованием для обучения ли-
нейных нейронов, где стабилизации не происходит даже при введении �,
модифицированного правила Хебба–Ойя, согласно которому

                                              �
                              �wij � ηyi x j � yi wij ,     �                     (2.20)

что приводит к ограничению |w|=1, обеспечивающему конечность значе-
ний весовых коэффициентов.
2.6. Нейроны типа WTA
      Нейроны типа WTA (Winner Takes All – Победитель получает все)
представляют группу конкурирующих между собой нейронов, получаю-
щих одни и те же входные сигналы xj (рис. 2.5). Сравнением выходных
значений сумматоров (2.4) определяется нейрон-победитель с максималь-
ной величиной ui, на его выходе устанавливается сигнал yi = 1, остальные
(проигравшие) нейроны переходят в состояние 0, что блокирует процесс
уточнения их весовых коэффициентов. Веса же победившего нейрона
уточняются по упрощенному (ввиду бинарности значений выходных сиг-
налов) правилу Гроссберга

                       wij (t � 1) � wij (t ) � � �� x j � wij (t ) ��            (2.21)

с нормализацией xj и wij.

                            w11                   u1
          x1
                            w12         ��                                   y1
                                                                Механизм
                                     w1N
                                                                конкурен-
                                                  u2               ции
          x2                            ��                      нейронов
                                                                             y2

                                       wk1
                            wk2                   uk
          xN
                            wkN         ��                                   yk

                  Рис. 2.5. Схема соединения нейронов типа WTA


                                                   21

Страницы