Составители:
Рубрика:
34
муму. С одной стороны, значения начальных весов не должны быть
очень большими, иначе начальные входные сигналы в каждую
скрытую или выходную ячейку попадут в диапазон, где производ"
ная сигмоидной функции активации имеет очень малую величину.
С другой – если начальные значения взять достаточно малыми, то
сетевой вход в скрытый или выходной нейрон будет близок к нулю,
что приведет к очень медленному обучению.
Общее правило инициирования начальных весов заключается в
выборе их значений из равномерно распределенных величин в интер"
вале –0,5... + 0,5 (иногда этот интервал может быть несколько мень"
ше или больше, но не превышающий ± 1). Значения весов могут быть
положительными или отрицательными, поскольку окончательные
веса после обучения также могут иметь любой знак.
Продолжительность обучения сети. Так как целью обучения сети
является достижение баланса между правильными откликами на обу"
чаемые образы и приемлемыми откликами на новые входные образы
(т. е. равновесие между запоминанием и обобщением), поэтому нет
необходимости продолжать обучение до тех пор, пока общий квад"
рат ошибки достигнет минимума. Было предложено использовать
две серии данных во время обучения: серию обучающих образов и
серию контрольных образов, которые являются раздельными. Регу"
лирование весов основано на обучающих образах, однако во время
обучения ошибка вычисляется с использованием контрольных обра"
зов. До тех пор пока ошибка для контрольных образов уменьшается,
процесс обучения продолжается. При возрастании этой ошибки сеть
начинает терять свою способность к обобщению, и в этот момент обу"
чение прекращается.
Количество требуемых обучаемых пар. Для соотношения между
числом обучаемых образов Р, количеством регулируемых весов w и
точностью классификации e предложено использовать следующее
выражение [8]:
/wP12
.
Например, при e = 0,1 многослойная сеть с 80 регулируемыми ве"
сами потребует 800 обучаемых образов, чтобы быть уверенным в пра"
вильной классификации 90% предъявленных контрольных образов.
Представление данных. Во многих задачах входные и выходные
векторы имеют составляющие в одном и том же диапазоне величин.
Так как один из членов в выражении для корректировки весов явля"
ется активацией ячейки предыдущего слоя, нейроны, имеющие ну"
левую активацию, обучаться не будут. Это предполагает, что обуче"
Страницы
- « первая
- ‹ предыдущая
- …
- 32
- 33
- 34
- 35
- 36
- …
- следующая ›
- последняя »
