Нейросетевые технологии. Каширина И.Л. - 8 стр.

UptoLike

ВУЗ: 

ВГУ | Воронеж

Составители: 

Рубрика: 

8
на рис. 3. Самыми распространенными являются пороговая и сигмои-
дальная активационные функции, они наиболее приближены к биологиче-
скому аналогу.
Пороговая функция ограничивает активность нейрона значениями 0 или 1
в зависимости от величины комбинированного входа
s. Как правило, вход-
ные значения в этом случае также используются бинарные:
х
i
∈{0,1}. Чаще
всего удобнее вычесть пороговое значение
Θ
(называемое смещением) из
величины комбинированного входа и рассмотреть пороговую функцию в
математически эквивалентной форме:
∑
=
⋅+=
n
i
ii
wxws
1
0
,
⎩
⎨
⎧
≥
<
=
0,1
;0,0
)(
s
s
sf .
Здесь
Θ−=
0
w – величина смещения, взятая с противоположным знаком.
Cмещение обычно интерпретируется как связь, исходящая от элемента,
значение которого всегда равно 1. Комбинированный вход тогда можно
представить в виде
∑
=
⋅=
n
i
ii
wxs
0
, где
0
x всегда считается равным 1.
Таблица 1
Функции активации нейронов
Название Формула Область значений
Пороговая (функция
единичного скачка)
⎩
⎨
⎧
Θ≥
Θ
<
=
s
s
sf
,1
;,0
)(
{0,1}
Линейная
ks
s
f
=
)( );( +∞−∞
Логистическая
(сигмоидальная)
as
e
sf
−
+
=
1
1
)(
(0,1)
Гиперболический тан-
генс
asas
asas
ee
ee
sf
−
−
+
−
=)(
(–1,1)
Линейная с насыщени-
ем (линейный порог)
⎪
⎩
⎪
⎨
⎧
Θ≥
Θ<≤
Θ
<
=
s
sks
s
sf
,1
0,
;,0
)(
(0,1)
Логистическая функция, или сигмоид, f (s) = 1 / (1 + e
–as
) непрерывно
заполняет своими значениями диапазон от 0 до 1.
При уменьшении а сиг-
моид становится более пологим, в пределе при а = 0 вырождаясь в гори-
зонтальную линию на уровне 0.5, при увеличении
а сигмоид приближается
к виду функции единичного скачка с порогом 0. Следует отметить, что
сигмоидальная функция дифференцируема на всей оси абсцисс, что ис-
на рис. 3. Самыми распространенными являются пороговая и сигмои-
дальная активационные функции, они наиболее приближены к биологиче-
скому аналогу.
Пороговая функция ограничивает активность нейрона значениями 0 или 1
в зависимости от величины комбинированного входа s. Как правило, вход-
ные значения в этом случае также используются бинарные: хi ∈ {0,1}. Чаще
всего удобнее вычесть пороговое значение Θ (называемое смещением) из
величины комбинированного входа и рассмотреть пороговую функцию в
                                                  n
математически эквивалентной форме: s = w0 + ∑ xi ⋅ wi ,
                                                 i =1
                                    ⎧0, s < 0;
                            f (s) = ⎨          .
                                    ⎩1, s ≥ 0
Здесь w0 = −Θ – величина смещения, взятая с противоположным знаком.
Cмещение обычно интерпретируется как связь, исходящая от элемента,
значение которого всегда равно 1. Комбинированный вход тогда можно
                        n
представить в виде s = ∑ xi ⋅ wi , где x0 всегда считается равным 1.
                       i =0

                                                                 Таблица 1
                            Функции активации нейронов
       Название                        Формула              Область значений
  Пороговая (функция                          ⎧0, s < Θ;          {0,1}
  единичного скачка)              f (s) = ⎨
                                              ⎩1, s ≥ Θ
      Линейная                           f ( s ) = ks           (−∞;+∞)
    Логистическая                                  1              (0,1)
                                    f ( s) =
   (сигмоидальная)                              1+ e − as

 Гиперболический тан-                         e as − e − as      (–1,1)
         генс                     f ( s ) = as
                                              e + e − as
 Линейная с насыщени-                     ⎧0, s < Θ;              (0,1)
  ем (линейный порог)                     ⎪
                               f ( s ) = ⎨ks, 0 ≤ s < Θ
                                          ⎪1, s ≥ Θ
                                          ⎩

    Логистическая функция, или сигмоид, f (s) = 1 / (1 + e–as) непрерывно
заполняет своими значениями диапазон от 0 до 1. При уменьшении а сиг-
моид становится более пологим, в пределе при а = 0 вырождаясь в гори-
зонтальную линию на уровне 0.5, при увеличении а сигмоид приближается
к виду функции единичного скачка с порогом 0. Следует отметить, что
сигмоидальная функция дифференцируема на всей оси абсцисс, что ис-

                                        8

Страницы