ВУЗ:
Составители:
83
Проблемы. ИНС ОРО в настоящее время являются наиболее
распространенными. Однако они также имеют ряд проблем, которые следует
учитывать [16].
Проблема 1
, которая может возникнуть – это неопределенно долгий
процесс обучения. В сложных задачах для этого могут потребоваться часы, а то
и дни. Для его сокращения существует ряд методов.
Во многих случаях процесс обучения можно ускорить путем введения в
каждый ИН обучаемого смещения. Это позволяет сдвигать начало отсчета
логистической функции, давая эффект, аналогичный
подстройке порога
перцептронного нейрона. Реализуется смещение путем добавления в каждый
ИН дополнительного взвешенного входа, постоянно подключенного к
константе (обычно +1). Вес этого входа обучается, как и остальные.
Коррекция весов по формуле (8.11) для произвольного слоя σ
)1(,,, −σσσ
⋅
δ
⋅
η
−
=
Δ
kjij
zw
может давать значительные скачки при перемещении по поверхности целевой
функции
σ
Δ
,ij
w
, что помимо замедления может привести к неустойчивости
процесса обучения. Для придания процессу коррекции весов некоторой
инерционности можно запоминать величину предыдущей коррекции и
использовать ее с некоторым коэффициентом для сглаживания последующей
модификации весов:
])1([)(
,)1(,,,
−
Δ
μ
+
⋅
δ
⋅
η
−
=
Δ
σ−σσσ
twztw
ijkjij
,
где μ - коэффициент импульса, задаваемый обычно около 0,9.
Этот метод называется импульсом. Он позволяет идти процессу коррекции
по дну узких оврагов поверхности ошибки (если таковые имеются), а не
перемещаться резко от склона к склону. Для одних задач метод работает
хорошо, для других – дает слабый или даже отрицательный эффект.
Для коррекции весов
вместо формулы (8.11) применяется также метод
экспоненциального сглаживания. Этот метод сходен с предыдущим и может
давать преимущество в некоторых задачах. Коррекция весов для произвольного
слоя σ в этом методе осуществляется по формуле
])1()1([)(
)1(,,,, −σσσσ
⋅
δ
μ
−
+
−
Δ
⋅
μ
η
−
=
Δ
kjijij
ztwtw
,
где μ - коэффициент сглаживания, варьируемый в диапазоне от 0 до 1. При μ=0
коррекция весов осуществляется по обычной формуле (8.11). При μ=1 новая
коррекция игнорируется и повторяется предыдущая. Внутри области (0…1)
коррекция сглаживается величиной, пропорциональной μ.
Страницы
- « первая
- ‹ предыдущая
- …
- 81
- 82
- 83
- 84
- 85
- …
- следующая ›
- последняя »
