Нейросетевые структуры и технологии. Часть 1. Электрические и математические модели нейронов. НС прямого распространения. Клюкин В.И - 15 стр.

UptoLike

ВУЗ: 

ВГУ | Воронеж

Составители: 

Рубрика: 

15
сигмоиды становятся более пологими, а при a®¥ превращаются в порого-
вую и сигнатурную функции соответственно. В числе их достоинств следует
также упомянуть относительную простоту и непрерывность производных и
свойство усиливать слабые сигналы лучше, чем большие.
Таблица 2.1
Функции активации нейронов
Название Формула
Область
значений
Линейная
()
fuku
=
(–¥, ¥)
Полулинейная
,0
()
0,0
kuu
fu
u
>
ì
=
í
£
î
(0, ¥)
Логистическая
(сигмоидальная)
1
()
1
u
fu
e
-
=
+
(0, 1)
Гиперболический тангенс
(сигмоидальная)
αα
αα
()(
α )
uu
uu
ee
futhu
ee
-
-
-
=º
+
(–1, 1)
Экспоненциальная
α
()
u
fue
-
=
(0, ¥)
Синусоидальная
()sin()
fuu
=
(–1, 1)
Сигмоидальная
(рациональная)
()
α
u
fu
u
=
+
(–1, 1)
Линейная
с насыщением
1,1
()
,11
1,1
u
fu
uu
u
-£-
ì
ï
=
-<<
í
ï
³
î
(–1, 1)
Пороговая
0,0
()
1,0
u
fu
u
<
ì
=
í
³
î
(0, 1)
Модульная
()
fuu
=
(0, ¥)
Сигнатурная
1,0
()
1,0
u
fu
u
>
ì
=
í
-£
î
(–1, 1)
Квадратичная
2
()
fuu
=
(0, ¥)
Помимо выбора f(u) важным фактором является выбор стратегии обу-
чения. При обучении с учителем для каждого входного
()
k
x
r
должны быть из-
вестны ожидаемые выходные сигналы
()
k
d
r
, а подбор w
ij
должен быть органи-
зован так, чтобы фактические значения
()
k
i
y
были наиболее близки к
()
.
k
i
d
При обучении без учителя подбор весовых коэффициентов проводится на ос-
новании либо конкуренции нейронов между собой, либо с учетом корреляции
обучающих и выходных сигналов. В этом случае (в отличие от обучения с
учителем) прогнозирование выходных сигналов нейрона на этапе адаптации
невозможно. Наиболее распространенные модели нейронов, реализующие
каждый из указанных подходов, представлены на рисунке 2.2. 
сигмоиды становятся более пологими, а при ��� превращаются в порого-
вую и сигнатурную функции соответственно. В числе их достоинств следует
также упомянуть относительную простоту и непрерывность производных и
свойство усиливать слабые сигналы лучше, чем большие.
                                                           Таблица 2.1
                      Функции активации нейронов
                                                                   Область
Название                                Формула
                                                                  значений
Линейная                                f (u) � ku                (–�, �)
                                             �ku, u � 0
Полулинейная                       f (u ) � �                      (0, �)
                                             � 0, u � 0
Логистическая                                       1
                                     f (u ) �                      (0, 1)
(сигмоидальная)                                1 � e � αu
Гиперболический тангенс                 e αu � e � αu
(сигмоидальная)
                              f (u ) � αu             � th(αu )    (–1, 1)
                                        e � e � αu
Экспоненциальная                       f (u ) � e � αu             (0, �)
Синусоидальная                        f (u ) � sin(u )             (–1, 1)
Сигмоидальная                                    u
                                      f (u ) �                     (–1, 1)
(рациональная)                                 α� u
                                          � �1, u � �1
Линейная                                  �
                                 f (u ) � �u , � 1 � u � 1         (–1, 1)
с насыщением                              �1, u � 1
                                          �
                                            �0, u � 0
Пороговая                          f (u ) � �                      (0, 1)
                                            �1, u � 0
Модульная                               f (u ) � u                 (0, �)
                                           �1, u � 0
Сигнатурная                      f (u ) � �                        (–1, 1)
                                           ��1, u � 0
Квадратичная                            f (u ) � u 2               (0, �)

      Помимо выбора f(u) важным фактором является выбор стратегии обу-
                                                       �
чения. При обучении с учителем для каждого
                                     �(k )    входного x ( k ) должны быть из-
вестны ожидаемые выходные сигналы d , а подбор wij должен быть органи-
зован так, чтобы фактические значения yi( k ) были наиболее близки к di( k ) .
При обучении без учителя подбор весовых коэффициентов проводится на ос-
новании либо конкуренции нейронов между собой, либо с учетом корреляции
обучающих и выходных сигналов. В этом случае (в отличие от обучения с
учителем) прогнозирование выходных сигналов нейрона на этапе адаптации
невозможно. Наиболее распространенные модели нейронов, реализующие
каждый из указанных подходов, представлены на рисунке 2.2.
                                             15

Страницы