Нейросетевые структуры и технологии. Часть 1. Электрические и математические модели нейронов. НС прямого распространения. Клюкин В.И - 44 стр.

UptoLike

ВУЗ: 

ВГУ | Воронеж

Составители: 

Рубрика: 

44
3.3.3. Методы инициализации весов и подбора обучающих данных
Обучение НС, даже при использовании самых эффективных алго-
ритмов, – достаточно трудоемкий процесс, зависящий от многих факто-
ров. Один из них – выбор начальных значений весов сети. Идеальными
считаются начальные значения w
ij
, достаточно близкие к оптимальны, ко-
гда не только устраняются задержки в точках локальных минимумов, но и
значительно ускоряется процесс обучения. Универсального метода выбора
0
w
r
нет, поэтому в большинстве практических реализаций используется
случайная инициализация
0
w
r
с равномерным распределением значений w
ij
в заданном интервале. Чтобы стартовая точка активации нейронов лежала
достаточно далеко от зоны насыщения, в качестве такого интервала чаще
всего выбирают (0,1). Хорошие результаты дает равномерное распределе-
ние весов, нормализованное для каждого нейрона по амплитуде
[
]
2
inin
wN
-
= , где N
in
– количество входов нейрона. Веса порогов скрытых
нейронов должны принимать случайные значения из интервала (–1/w
in
,
1/w
in
), а выходных нейронов – нулевые значения.
Достаточно серьезным фактором, влияющим на качество обучения
НС, является подбор обучающих данных. С точки зрения цели функциони-
рования НС можно рассматривать как векторный классификатор, опреде-
ляющий принадлежность каждого входного вектора
x
r
к конкретной груп-
пе. Нейроны первого скрытого слоя образуют гиперплоскости, разделяю-
щие N-мерное пространство входных данных на кластеры, нейроны сле-
дующего (чаще выходного) слоя идентифицируют кластеры. При ограни-
ченном числе обучающих выборок их размещение относительно конкрет-
ных гиперплоскостей становится очень важным. Наилучшие результаты
S
S
S
S
S
S
S
S
S
S
S
S S
S
S
SSS
S
S
S
S
S
S
A
B
C
D
a)
б
)
B
D
A
C
S
S
S
S
S
S
S
S
S
S
S
S
S
SSS
S
S
S
S
S
S
S
S
Рис. 3.6. Примеры выбора обучающих данных:
а – некорректный выбор; б – оптимальный выбор 
3.3.3. Методы инициализации весов и подбора обучающих данных
       Обучение НС, даже при использовании самых эффективных алго-
ритмов, – достаточно трудоемкий процесс, зависящий от многих факто-
ров. Один из них – выбор начальных значений весов сети. Идеальными
считаются начальные значения wij, достаточно близкие к оптимальны, ко-
гда не только устраняются задержки в точках локальных минимумов, но и
значительно ускоряется процесс обучения. Универсального метода выбора
 �
w0 нет, поэтому в большинстве практических реализаций используется
                                �
случайная инициализация w0 с равномерным распределением значений wij
в заданном интервале. Чтобы стартовая точка активации нейронов лежала
достаточно далеко от зоны насыщения, в качестве такого интервала чаще
всего выбирают (0,1). Хорошие результаты дает равномерное распределе-
ние весов, нормализованное для каждого нейрона по амплитуде
win � 2 � N in � , где Nin – количество входов нейрона. Веса порогов скрытых
                �1 2


нейронов должны принимать случайные значения из интервала (–1/win,
1/win), а выходных нейронов – нулевые значения.
       Достаточно серьезным фактором, влияющим на качество обучения
НС, является подбор обучающих данных. С точки зрения цели функциони-

 a)                B                         б)           B
                                                  A                             C
                                     S                                      S
                           S S           S                        S S           S
                       S             S                        S             S
                                 S                                      S
      A                          C                            S
                         SS                                           S
                            S SS                                      S S S
                       S                                          S
                         S S S                                      S S S
                       S                                          S
                         S SSS S                                    S SSS S
                       S     S                                    S    S
                   D                                       D

                   Рис. 3.6. Примеры выбора обучающих данных:
                 а – некорректный выбор; б – оптимальный выбор


рования НС можно рассматривать как векторный классификатор, опреде-
                                                �
ляющий принадлежность каждого входного вектора x к конкретной груп-
пе. Нейроны первого скрытого слоя образуют гиперплоскости, разделяю-
щие N-мерное пространство входных данных на кластеры, нейроны сле-
дующего (чаще выходного) слоя идентифицируют кластеры. При ограни-
ченном числе обучающих выборок их размещение относительно конкрет-
ных гиперплоскостей становится очень важным. Наилучшие результаты
                                             44

Страницы