Нейросетевые структуры и технологии. Часть 1. Электрические и математические модели нейронов. НС прямого распространения. Клюкин В.И - 18 стр.

UptoLike

ВУЗ: 

ВГУ | Воронеж

Составители: 

Рубрика: 

18
(1)(),
ijijij
wtwtx
hd
+=-
(2.8)
либо аналоговым способом из решения разностного уравнения
μδ ,
ij
ij
dw
dt
=- (2.9)
где h, m Î (0,1) играют роль коэффициентов обучения, от которых сильно
зависит его эффективность. Наиболее быстрым (но одновременно наибо-
лее трудоемким) считается метод направленной минимизации с адаптив-
ным выбором значений h, m.
Следует отметить, что применение градиентных методов обучения
нейрона гарантирует достижение только локального экстремума, который
для полимодальной E(w) может быть достаточно далек от глобального ми-
нимума. В этом случае результативным может оказаться обучение с мо-
ментом (ММ)
(1)
ηδα(),
ijijij
wtxwt
D+=-+D
(2.10)
где 0 < a < 1 – коэффициент момента, или использование стохастических
методов оптимизации.
2.3. Адаптивный линейный нейрон
Структура предложенного Б. Видроу нейрона «ADALINE» (ADAp-
tive LInear NEuron) – ФН МакКаллока–Питтса (рис. 2.1) с функцией акти-
вации типа signum (табл. 2.1), то есть
–10 –8 –6 –4 –2 0 2 4 6 8 10
0
0,05
0,1
0,15
0,2
0,25
a=0,5
a=1
a=10
u
1()
dfu
du
a
Рис. 2.3.
График производной от сигмоидальной функции при разли
ч
ных
a
                                     wij (t � 1) � wij (t ) � �� i x j ,                       (2.8)

либо аналоговым способом из решения разностного уравнения

                                            dwij
                                                   � �μδi x j ,                                (2.9)
                                             dt

где �, � � (0,1) играют роль коэффициентов обучения, от которых сильно
зависит его эффективность. Наиболее быстрым (но одновременно наибо-
лее трудоемким) считается метод направленной минимизации с адаптив-
ным выбором значений �, �.

              0,25
  1 df (u )
  � du         0,2


              0,15


               0,1
                                                                           �=0,5
              0,05
                                                                    �=1
                                                          �=10
                0
                     –10   –8   –6    –4      –2     0      2      4       6       8   10 u
     Рис. 2.3. График производной от сигмоидальной функции при различных �

      Следует отметить, что применение градиентных методов обучения
нейрона гарантирует достижение только локального экстремума, который
для полимодальной E(w) может быть достаточно далек от глобального ми-
нимума. В этом случае результативным может оказаться обучение с мо-
ментом (ММ)

                                �wij (t � 1) � � ηδi x j � α�wij (t ),                        (2.10)
где 0 < � < 1 – коэффициент момента, или использование стохастических
методов оптимизации.
2.3. Адаптивный линейный нейрон
       Структура предложенного Б. Видроу нейрона «ADALINE» (ADAp-
tive LInear NEuron) – ФН МакКаллока–Питтса (рис. 2.1) с функцией акти-
вации типа signum (табл. 2.1), то есть


                                                         18

Страницы