Методы искусственного интеллекта для машинного перевода текстов. Роганов В.Р - 36 стр.

                                       Рис. 6
                           а) функция единичного скачка;
                          б) линейный порог (гистерезис);
                      в) сигмоид – гиперболический тангенс;
                              г) сигмоид – формула (3)


    Нелинейная функция f называется активационной и может иметь различ-
ный вид, как показано на рис. 6. Одной из наиболее распространенных является
нелинейная функция с насыщением, так называемая логистическая функция
или сигмоид (т.е. функция S-образного вида):
                                                    1
                                     f ( x) =                            (3)
                                                1 + e −αx

    При уменьшении α сигмоид становится более пологим, в пределе при α=0
вырождаясь в горизонтальную линию на уровне 0.5, при увеличении α сигмоид
приближается по внешнему виду к функции единичного скачка с порогом T в
точке x=0. Из выражения для сигмоида очевидно, что выходное значение ней-
рона лежит в диапазоне [0,1]. Одно из ценных свойств сигмоидной функции –
простое выражение для ее производной, применение которого будет рассмот-
рено в дальнейшем,
                            f '( x ) = α ⋅ f ( x ) ⋅ (1 − f ( x )) .     (4)
    Следует отметить, что сигмоидная функция дифференцируема на всей оси
абсцисс, что используется в некоторых алгоритмах обучения. Кроме того, она
обладает свойством усиливать слабые сигналы лучше, чем большие, и предот-



                                                                          36