Интеллектуальные информационные системы. Дубровин А.Д. - 133 стр.

то иногда весовыми коэффициентами оценивается и чувствительность нейрона,
получающего сигнал. Мы упомянули о том, что весовые коэффициенты могут быть и
средством регулировки качества соединения. Это действительно так потому, что (при
настройке ИНС на распознание конкретного образа) соединения, порождающие ошибочные
результаты в виде неприемлемых значений функции F(d), могут быть «наказаны» малыми
или нулевыми значениями весов, а те, что дают хорошие результаты, – могут быть
«поощрены» увеличением весов.
     Активационная функция F(d) может иметь, в принципе, любой вид. Но наиболее часто
применяются три вида таких функций: ступенчатая или релейная, линейная и S-образная,
которую иногда называют логистической или (что не совсем понятно) сигмоидной.
     Ступенчатая или релейная функция слишком категорична. Она имеет только два
альтернативных значения, одно из которых соответствует выполнению некоторого условия
(например, если ее аргумент не превышает определенного значения), а другое –
невыполнению этого условия. Кстати, именно так работают электромагнитные реле, чем и
объясняется второе название этой функции.
     Линейная функйия F(d) = α⋅d хорошо известна и понятна. Она дифференцируема,
непрерывна и легко вычисляема. Эти ее качества позволяют «плавно» регулировать ошибки
выходных сигналов ИНС и объясняют ее популярность при конструировании нейросетей.
     S-образная функция применяется в математическом моделировании. Она обычно
описывается зависимостью F(d) = 1/(1+ e −αd ) и представляет собой сочетание двух
экспонент. Одна экспонента, плавно возрастая со значения, бесконечно близкого к нулю,
переходит к быстрому (экспоненциальному) росту до точки перегиба. В этой точке (где
первая производная функции достигает максимума) она переходит во вторую экспоненту,
которая сначала растет интенсивно, а затем плавно асимптотически приближается к 1.
Коэффициент α определяет крутизну этой зависимости в зоне ее почти линейного участка.
Эти свойства S-образной функции позволяют более гибко и разнообразно регулировать
значение выходного сигнала системы. Она широко применяется в ИНС, предназначенных
для решения задач, требующих эффективных методов поиска оптимального решения на
многомерном пространстве признаков распознаваемых образов. Графики всех трех
функций приведены на рис.6.2.2.




              F (d )                  F (d )                            F (d )




          0             d         0                 d               0            d

        a)                       б)                                 в)

            Рис.6.2.2. Виды функций активации нейронов синапсов:
     а – ступенчатая; б - линейная; в – S-образная (логистическая или сигмоидная).




                                                                                     168