Интеллектуальный анализ данных в менеджменте. Кричевский М.Л. - 42 стр.

UptoLike

ВУЗ: 

СПб ГУАП | Санкт-Петербург

Составители: 

Рубрика: 

42
нем). В такой ситуации естественно воспользоваться простым обуче"
нием Хебба, т. е. для изменения весов принять
,
jj
wyx123
(1.12)
где h – скорость обучения.
Такой выбор усиливает выход по очереди для каждого предъявля"
емого входа и будeт приводить к наибольшему выходу. Однако при
этом веса продолжают расти безгранично, и обучение никогда не пре"
кратится. Рассмотрим правило (1.12) более подробно. Положим, что
имеется точка равновесия для вектора w. После достаточного обуче"
ния весовой вектор будет оставаться по соседству с точкой равнове"
сия, только флуктуируя вокруг нее на величину, пропорциональную
h. Вследствие этого можно ожидать, что весовые изменения в сред"
нем должны быть равны нулю:
0,
ii jji ijj
jj
wyx wxx CwCw1 21 1 1 1
33
(1.13)
где угловые скобки определяют среднее по входному распределению
P (x) и корреляционную матрицу С как
.
ij i j
Cxx1
Полученная матрица C
ij
является симметричной, т. е. собствен"
ные числа этой матрицы – действительные числа, а собственные век"
торы – ортогональны. Из равенства (1.13) следует, что в гипотети"
ческой точке равновесия вектор w есть собственный вектор матрицы
C с нулевым собственным числом. Но такое состояние не может быть
стабильным, так как у матрицы C есть некоторые положительные
собственные числа; любая флуктуация, имеющая составляющую
вдоль собственного вектора с положительным собственным числом,
будет расти экспоненциально. Следовательно, направление, соответ"
ствующее наибольшему собственному числу l
max
, будет доминиро"
вать, а весовой вектор w при этом будет постепенно приближаться к
собственному вектору, соответствующему l
max
, неограниченно воз"
растая.
Имеется несколько возможностей предотвратить рост весового
вектора. Например, это можно сделать простой перенормировкой,
приняв w
i
¢ = a w
i
для всех весов после каждого изменения, выбирая a
так, чтобы 1.w
1
2 Но финский ученый Е. Ойя предложил оригиналь"
ное решение, заключающееся в модификации самого правила Хебба
таким образом, который позволяет сделать весовой вектор прибли"
жающимся к постоянной длине ½w½ = 1 без перенормировки после

Страницы