Интеллектуальные информационные системы. Макаренко С.И. - 142 стр.

а выход нейрона есть функция его состояния [1]:
    y = f (s).                                                                                (15.2)

                        15.3 Активационная функция нейрона

   Нелинейная функция f в выражении (15.2) называется активационной и
может иметь различный вид, как показано на рисунке 15.3.

                                               Основные функции активации нейронов
                                                                                         Область
                                                  Название          Формула
                                                                                         значений
                                                  Линейная           f ( x) = kx          (–∞, ∞)
                                                                           kx, x > 0     (0, ∞)
                                                Полулинейная      f ( x) = 
                                                                            0, x ≤ 0
                                                                                1
                                                  Сигмоид         f ( x) =                 (0, 1)
                                                                             1 + e−x
                                               Гиперболический              ex − ex
                                                                  f ( x) =                (–1, 1)
                                                    тангенс                e x + e−x
                                               Экспоненциальная       f ( x) = e − x      (0, ∞)
                                                 Квадратичная         f ( x) = x 2        (0, ∞)
                                                                            1, x > 0
                                                   Знаковая       f ( x) =               (–1, 1)
                                                                           − 1, x ≤ 0

  Рисунок 15.3 – Основные функции используемые в виде активационных
                               и их вид

    Одной из наиболее распространенных является нелинейная функция с
насыщением, так называемая логистическая функция или сигмоид (т.е.
функция S-образного вида) [1]:
                    1
     f ( x) =                                                                                 (15.3)
                1 + e − αx
    При уменьшении α сигмоид становится более пологим, в пределе при
α=0 вырождаясь в горизонтальную линию на уровне 0.5, при увеличении α
сигмоид приближается по внешнему виду к функции единичного скачка с
порогом T в точке x=0. Из выражения для сигмоида очевидно, что выходное
значение нейрона лежит в диапазоне [0, 1].
     Одно из ценных свойств сигмоидной функции – простое выражение для
ее производной, применение которого будет рассмотрено в дальнейшем.
     f ' ( x ) = α ⋅ f ( x ) ⋅ (1 − f ( x ))                                              (15.4)
    Следует отметить, что сигмоидная функция дифференцируема на всей
оси абсцисс, что используется в некоторых алгоритмах обучения. Кроме
того, она обладает свойством усиливать слабые сигналы лучше, чем



                                                    141