Искусственные нейронные сети. Каширина И.Л. - 8 стр.

UptoLike

ВУЗ: 

ВГУ | Воронеж

Составители: 

Рубрика: 

8
∑
=
⋅=
n
i
ii
wxs
0
, где
0
x всегда считается равным 1.
Таблица 1. Функции активации нейронов
Название Формула Область значений
Пороговая (функция
единичного скачка)
Θ≥
Θ
<
=
s
s
sf
,1
;,0
)(
{0,1}
Линейная
ks
s
f
=
)
(
)
;
(
Логистиче
ская
(сигмоидальная)
as
e
sf
−
+
=
1
1
)(
(0,1)
Гиперболический тангенс
asas
asas
e
e
ee
sf
−
−
+
−
=)(
(-1,1)
Линейная с насыщением
(линейный порог)
Θ≥
Θ<≤
Θ
<
=
s
sks
s
sf
,1
0,
;,0
)(
(0,1)
Рис . 3. Примеры активационных функций
а - функция единичного скачка ; б - линейный порог ;
в - логистическая функция; г - гиперболический тангенс
Логистическая функция или сигмоид f (s) = 1 / (1+e
-as
) непрерывно заполня -
ет своими значениями диапазон от 0 до 1. При уменьшении а сигмоид становится
более пологим , в пределе при а = 0 вырождаясь в горизонтальную линию на уров -
не 0.5, при увеличении а сигмоид приближается к виду функции единичного
скачка с порогом 0. Следует отметить, что сигмоидальная функция дифференци-
руема на всей оси абсцисс, что используется в некоторых алгоритмах обучения.
Кроме того, она обладает свойством усиливать слабые сигналы и предотвращает
насыщение от больших сигналов , так как они соответствуют областям аргумен-
тов , где сигмоид имеет пологий наклон . 
                                              8
    n
s =∑ xi ⋅ wi , где x0 всегда считается равным 1.
   i =0

                          Таблица 1. Функции активации нейронов

      Название                           Формула                  Область значений
  Пороговая (функция                              � 0, s <Θ;           {0,1}
  единичного скачка)                f ( s ) =�
                                                   � 1, s ≥Θ
       Линейная                            f ( s ) =ks                 ( −∞;+∞)
     Логистическая                                       1                (0,1)
                                      f ( s) =
    (сигмоидальная)                                  1 +e −as
Гиперболический тангенс                             e as −e −as            (-1,1)
                                    f ( s ) = as
                                                    e +e −as
Линейная с насыщением                       � 0, s <Θ;                     (0,1)
   (линейный порог)                          �
                                 f ( s) =� ks, 0 ≤s <Θ
                                               � 1, s ≥Θ
                                                �




                          Рис. 3. Примеры активационных функций
                    а - функция единичного скачка; б - линейный порог ;
                  в - логистическая функция; г - гиперболический тангенс

     Логистическая функция или сигмоид f (s) = 1 / (1+e-as) непрерывно заполня-
ет своими значениями диапазон от 0 до 1. При уменьшении а сигмоид становится
более пологим, в пределе при а = 0 вырождаясь в горизонтальную линию на уров-
не 0.5, при увеличении а сигмоид приближается к виду функции единичного
скачка с порогом 0. Следует отметить, что сигмоидальная функция дифференци-
руема на всей оси абсцисс, что используется в некоторых алгоритмах обучения.
Кроме того, она обладает свойством усиливать слабые сигналы и предотвращает
насыщение от больших сигналов, так как они соответствуют областям аргумен-
тов, где сигмоид имеет пологий наклон.

Страницы