ВУЗ:
Составители:
8
на рис. 3. Самыми распространенными являются пороговая и сигмои-
дальная активационные функции, они наиболее приближены к биологиче-
скому аналогу.
Пороговая функция ограничивает активность нейрона значениями 0 или 1
в зависимости от величины комбинированного входа
s. Как правило, вход-
ные значения в этом случае также используются бинарные:
х
i
∈{0,1}. Чаще
всего удобнее вычесть пороговое значение
Θ
(называемое смещением) из
величины комбинированного входа и рассмотреть пороговую функцию в
математически эквивалентной форме:
∑
=
⋅+=
n
i
ii
wxws
1
0
,
⎩
⎨
⎧
≥
<
=
0,1
;0,0
)(
s
s
sf .
Здесь
Θ−=
0
w – величина смещения, взятая с противоположным знаком.
Cмещение обычно интерпретируется как связь, исходящая от элемента,
значение которого всегда равно 1. Комбинированный вход тогда можно
представить в виде
∑
=
⋅=
n
i
ii
wxs
0
, где
0
x всегда считается равным 1.
Таблица 1
Функции активации нейронов
Название Формула Область значений
Пороговая (функция
единичного скачка)
⎩
⎨
⎧
Θ≥
Θ
<
=
s
s
sf
,1
;,0
)(
{0,1}
Линейная
ks
s
f
=
)( );( +∞−∞
Логистическая
(сигмоидальная)
as
e
sf
−
+
=
1
1
)(
(0,1)
Гиперболический тан-
генс
asas
asas
ee
ee
sf
−
−
+
−
=)(
(–1,1)
Линейная с насыщени-
ем (линейный порог)
⎪
⎩
⎪
⎨
⎧
Θ≥
Θ<≤
Θ
<
=
s
sks
s
sf
,1
0,
;,0
)(
(0,1)
Логистическая функция, или сигмоид, f (s) = 1 / (1 + e
–as
) непрерывно
заполняет своими значениями диапазон от 0 до 1.
При уменьшении а сиг-
моид становится более пологим, в пределе при а = 0 вырождаясь в гори-
зонтальную линию на уровне 0.5, при увеличении
а сигмоид приближается
к виду функции единичного скачка с порогом 0. Следует отметить, что
сигмоидальная функция дифференцируема на всей оси абсцисс, что ис-
на рис. 3. Самыми распространенными являются пороговая и сигмои- дальная активационные функции, они наиболее приближены к биологиче- скому аналогу. Пороговая функция ограничивает активность нейрона значениями 0 или 1 в зависимости от величины комбинированного входа s. Как правило, вход- ные значения в этом случае также используются бинарные: хi ∈ {0,1}. Чаще всего удобнее вычесть пороговое значение Θ (называемое смещением) из величины комбинированного входа и рассмотреть пороговую функцию в n математически эквивалентной форме: s = w0 + ∑ xi ⋅ wi , i =1 ⎧0, s < 0; f (s) = ⎨ . ⎩1, s ≥ 0 Здесь w0 = −Θ величина смещения, взятая с противоположным знаком. Cмещение обычно интерпретируется как связь, исходящая от элемента, значение которого всегда равно 1. Комбинированный вход тогда можно n представить в виде s = ∑ xi ⋅ wi , где x0 всегда считается равным 1. i =0 Таблица 1 Функции активации нейронов Название Формула Область значений Пороговая (функция ⎧0, s < Θ; {0,1} единичного скачка) f (s) = ⎨ ⎩1, s ≥ Θ Линейная f ( s ) = ks (−∞;+∞) Логистическая 1 (0,1) f ( s) = (сигмоидальная) 1+ e − as Гиперболический тан- e as − e − as (1,1) генс f ( s ) = as e + e − as Линейная с насыщени- ⎧0, s < Θ; (0,1) ем (линейный порог) ⎪ f ( s ) = ⎨ks, 0 ≤ s < Θ ⎪1, s ≥ Θ ⎩ Логистическая функция, или сигмоид, f (s) = 1 / (1 + eas) непрерывно заполняет своими значениями диапазон от 0 до 1. При уменьшении а сиг- моид становится более пологим, в пределе при а = 0 вырождаясь в гори- зонтальную линию на уровне 0.5, при увеличении а сигмоид приближается к виду функции единичного скачка с порогом 0. Следует отметить, что сигмоидальная функция дифференцируема на всей оси абсцисс, что ис- 8
Страницы
- « первая
- ‹ предыдущая
- …
- 6
- 7
- 8
- 9
- 10
- …
- следующая ›
- последняя »