Методические указания к лабораторным работам по курсу "Нейрокомпьютерные системы". Домашова Д.В - 13 стр.

                            ∆ p wij = ηδ jp y ip
                                                                            (2.5)
где изменение в силе связи wij для p-й обучающей пары пропорционально произ-
ведению сигнала ошибки δj-го блока, получающего входной сигнал по этой связи,
и выходного сигнала блока i, посылающего сигнал по этой связи. η-коэффициент,
определяющий скорость обучения (маленькая величина). Определение сигнала
ошибки является рекурсивным процессом, который начинается с выходных бло-
ков (с конца).
      Для выходного блока сигнал ошибки
                                 δ ip = y j ′ (d jp − oip )                 (2.6)
   где dj и oj - желаемое и действительное значения выходного сигнала j-го бло-
ка;
      уj' - производная нелинейности блока.
      Сигнал ошибки для скрытого блока определяется рекурсивно через сигнал
ошибки блоков, с которым соединен его выход, и веса этих связей:
                                 δ ip = y j ′ ∑ δ kp wkj                    (2.7)
                                             k

     Для используемой сигмовидной нелинейности:
                                ′
                             y j = y j (1 − y j ) ,
                                                                              (2.8)
т. к. 0 ≤ yj ≤ 1, то производная максимальна при уj = 0,5 и равна нулю при уj = 0
или 1. Соответственно веса изменяются максимально для блоков, которые еще
не выбрали свое состояние (если уj = 0 или 1 - оно выбрано).
      Т. к. при конечных весах выходные сигналы блоков не могут достигать
значений 0 или 1, поэтому
                                 0, если y j 〈 0.1
                            yj = 
                                  1, если y j 〉 0.9
     Модификация весов производится после предъявления каждой пары вход -
выход.
     Причем, если коэффициент η, определяющий скорость обучения, мал, то
можно показать, что обобщенное дельта-правило достаточно хорошо аппрокси-
мирует минимизацию общей ошибки функционирования сети D методом гради-
ентного спуска в пространстве весов. Общая ошибка функционирования сети
определяется так:
                                         1
                                   D=      ∑∑
                                         2 p j
                                               (o jp − d jp ) 2             (2.9)
      Обучение продолжается до тех пор, пока ошибка не уменьшится до задан-
ной величины.
      Эмпирические результаты свидетельствуют о том, что при малых η систе-
ма находит достаточно хороший минимум D.

14