Методы искусственного интеллекта для машинного перевода текстов. Роганов В.Р - 49 стр.

Рис. 11 Диаграмма сигналов в сети при обучении по алгоритму обратного распространения
                                        ошибки


    Сети на шаге 1 попеременно в случайном порядке предъявляются все тре-
нировочные образы, чтобы сеть, образно говоря, не забывала одни по мере за-
поминания других. Алгоритм иллюстрируется рисунком 11.
    Из выражения (23) следует, что когда выходное значение yi(n-1) стремится к
нулю, эффективность обучения заметно снижается. При двоичных входных
векторах в среднем половина весовых коэффициентов не будет корректиро-
ваться, поэтому область возможных значений выходов нейронов [0,1] жела-
тельно сдвинуть в пределы [-0.5,+0.5], что достигается простыми модифика-
циями логистических функций. Например, сигмоид с экспонентой преобразует-
ся к виду
                                                      1
                               f ( x ) = −0.5 +                                  (29)
                                                  1 + e − α ⋅x
    Теперь коснемся вопроса емкости НС, то есть числа образов, предъявляе-
мых на ее входы, которые она способна научиться распознавать. Для сетей с
числом слоев больше двух, он остается открытым. Для НС с двумя слоями, то
есть выходным и одним скрытым слоем, детерминистская емкость сети Cd оце-
нивается так:


                                                                                   49