Нейросетевые технологии. Каширина И.Л. - 24 стр.

       Дополнительное преимущество от введения момента – появляющая-
ся у алгоритма способность преодолевать мелкие локальные минимумы.
Правда, недостатком данного метода является введение еще одного гло-
бального настроечного параметра.
       Еще одной удачной модификацией обучения является алгоритм
RPROP, в котором каждый вес имеет свой адаптивно настраиваемый темп
обучения.
       RPROP использует лишь знаки частных производных по каждому
весу, а не их значения:
                              ⎧                         N −1
                               ⎪ η + Δw N −1 , ∂ E ∂ E > 0
                                                  N

                               ⎪       ij
  N +1
                               ⎪⎪              ∂ wij ∂ wij
wij = wij + Δwij , где Δwij = ⎨
         N      N         N
                                                             .
                                ⎪ − N −1 ∂ E N ∂ E N −1
                                ⎪
                              ⎪ η Δwij , ∂ w ∂ w < 0
                              ⎪⎩                  ij     ij

Если знак производной по данному весу изменил направление, значит пре-
дыдущее значение шага по данной координате было слишком велико, и ал-
горитм уменьшает его в η–≤ 1 раз. В противном случае шаг увеличивается
в η+ > 1 раз для ускорения обучения вдали от минимума. Рекомендованные
значения η– = 0.5, η+ = 1.2.
       Обратное распространение было использовано в широкой сфере
прикладных исследований. В частности фирма NEC в Японии использова-
ла обратное распространение для визуального распознавания букв (в том
числе рукописных), причем точность превысила 99 %. Достигнут впечат-
ляющий успех с Net-Talk, системой, которая превращает печатный англий-
ский текст в высококачественную речь. Магнитофонная запись процесса
обучения сильно напоминает звуки ребенка на разных этапах обучения ре-
чи. Но несмотря на многочисленные успешные применения обратного
распространения, оно не является панацеей. Больше всего неприятностей
приносит неопределенно долгий процесс обучения. В сложных задачах для
обучения сети могут потребоваться часы или даже дни, она может и вооб-
ще не обучиться. Неудачи в обучении часто возникают по причине попа-
дания сети в локальный минимум, что, к сожалению, является характерной
особенностью методов градиентного спуска. Исправить ситуацию в таком
случае иногда помогают небольшие случайные изменения весовых значе-
ний сети.

                            УПРАЖНЕНИЯ
1. Напишите программу, обучающую сеть обратного распространения игре
в «крестики-нолики» 3 × 3. Клетки доски закодированы позициями 1..9.
Входным вектором является девятимерный вектор, в котором в соответ-
ствующей позиции задается 0.01, если в ней находится «нолик», 0.99 – если
                                   24