Нейросетевые структуры и технологии. Часть 1. Электрические и математические модели нейронов. НС прямого распространения. Клюкин В.И - 39 стр.

UptoLike

ВУЗ: 

ВГУ | Воронеж

Составители: 

Рубрика: 

39
ментов L является показателем ее обученности и характеризуется по-
грешностью обучения
()
L
Ew
r
, способность распознавания данных под-
множества G показывает ее возможности обобщения знаний и описыва-
ется погрешностью обобщения
()
G
Ew
r
. Для верификации качества обу-
чения НС в составе L выделяется определенное подмножество кон-
трольных данных V.
При обучении НС оказывается, что количество весов T
w
сети (число
степеней свободы) и число обучающих выборок р тесно связаны. Напри-
мер, если бы целью обучения НС было только запоминание
()
k
x
, тогда дос-
таточно было бы p = T
w
, однако такая сеть не будет обладать свойством
обобщения и сможет только восстанавливать данные. Для обретения
обобщающих свойств НС необходимо выполнение p > T
w
, чтобы веса сети
адаптировались не к уникальным выборкам, а к их статистически усред-
ненным совокупностям. Наглядная графическая иллюстрация способности
НС к обобщению показана на рисунке 3.4 на примере аппроксимации од-
номерной функции двухслойной НС. Видно, как при избыточном числе
нейронов и весов проявляется эффект гиперразмерности НС, когда мини-
мизация
()
L
Ew
r
на относительно малом числе обучающих выборок спрово-
цировала случайный характер значений многих весов, что при переходе к
тестовым сигналам обусловило значительное отклонение фактических
значений y
i
от ожидаемых d
i
(рис. 3.4, а). Уменьшение количества скрытых
нейронов до оптимального значения (рис. 3.4, б) обеспечило и малую по-
грешность обучения, и высокую степень обобщения (малую
()
G
Ew
r
). Даль-
нейшее уменьшение К привело к потере НС способности восстанавливать
обучающие данные (рис. 3.4, в).
R
V
L
G
Рис. 3.3. Разделение множества данных R на обучающее L, контрольное V
и тестовое G подмножества 
ментов L является показателем ее обученности и характеризуется по-
                         �
грешностью обучения EL ( w) , способность распознавания данных под-
множества G показывает ее возможности обобщения знаний и описыва-
                                   �
ется погрешностью обобщения EG ( w) . Для верификации качества обу-
чения НС в составе L выделяется определенное подмножество кон-
трольных данных V.


                                    R
                                                  G
                       L
                           V



      Рис. 3.3. Разделение множества данных R на обучающее L, контрольное V
                             и тестовое G подмножества

      При обучении НС оказывается, что количество весов Tw сети (число
степеней свободы) и число обучающих выборок р тесно связаны. Напри-
                                                           �
мер, если бы целью обучения НС было только запоминание x ( k ) , тогда дос-
таточно было бы p = Tw, однако такая сеть не будет обладать свойством
обобщения и сможет только восстанавливать данные. Для обретения
обобщающих свойств НС необходимо выполнение p > Tw, чтобы веса сети
адаптировались не к уникальным выборкам, а к их статистически усред-
ненным совокупностям. Наглядная графическая иллюстрация способности
НС к обобщению показана на рисунке 3.4 на примере аппроксимации од-
номерной функции двухслойной НС. Видно, как при избыточном числе
нейронов и весов проявляется эффект гиперразмерности НС, когда мини-
             �
мизация EL ( w) на относительно малом числе обучающих выборок спрово-
цировала случайный характер значений многих весов, что при переходе к
тестовым сигналам обусловило значительное отклонение фактических
значений yi от ожидаемых di (рис. 3.4, а). Уменьшение количества скрытых
нейронов до оптимального значения (рис. 3.4, б) обеспечило и малую по-
                                                                 �
грешность обучения, и высокую степень обобщения (малую EG ( w) ). Даль-
нейшее уменьшение К привело к потере НС способности восстанавливать
обучающие данные (рис. 3.4, в).




                                          39

Страницы