Нейросетевые структуры и технологии. Часть 1. Электрические и математические модели нейронов. НС прямого распространения. Клюкин В.И - 14 стр.

2. МАТЕМАТИЧЕСКИЕ МОДЕЛИ НЕЙРОНОВ
      Из анализа материала предыдущего раздела следует, что с точки зрения
обработки информации каждый нейрон можно считать своеобразным про-
цессором, который суммирует с соответствующими весами сигналы от дру-
гих нейронов, выполняет нелинейную обработку полученной суммы и фор-
мирует результирующий сигнал для передачи связанным с ним нейронам. На
основе принципов функционирования биологических нейронов были созданы
различные математические модели, реализующие (в большей или меньшей
степени) свойства природной нервной клетки. Основу большинства таких
моделей составляет структура формального нейрона (ФН) МакКаллока–
Питтса (1943), представленная на рисунке 2.1, где компоненты входного век-
     �
тора x (х1, х2, …, хN) суммируются с учетом весов wij и сравниваются с поро-
говым значением wi0. Выходной сигнал ФН yi определяется как

                                                 � N                     �
                           yi (t ) � f (ui ) � f � � wij x j (t ) � wi 0 � ,        (2.1)
                                                 � j �1                  �

где в общем случае нелинейная функция преобразования f(ui) называется функ-
цией активации. Коэффициенты wij соответствуют весам синаптических связей:
положительное значение wij – возбуждающим, отрицательное wij – тормозящим
синапсам, wij = 0 означает отсутствие связи между i-м и j-м нейронами.
                      x0 = 1
              x1               wi0
                         wi1
                   wi2                   ui                                    yi
         x2                    ��
              xN         wiN
                                                           f
      Рис. 2.1. Структура модели формального нейрона МакКаллока–Питтса

      Функция активации ФН – это пороговая функция вида

                                              �1, если u � 0;
                                     f �u � � �                                     (2.2)
                                              �0, если u � 0,
хотя в принципе набор используемых в моделях нейронов f(u) достаточно
разнообразен (табл. 2.1), поскольку их свойства, особенно непрерывность,
оказывают значительное влияние на выбор способа обучения нейрона (под-
бор wij). Наиболее распространенными функциями активации являются поро-
говая, линейная (в том числе с насыщением) и сигмоидальные – логистиче-
ская и гиперболический тангенс (рис. 2.2). Заметим, что с уменьшением �
                                                      14