Нейросетевые структуры и технологии. Часть 1. Электрические и математические модели нейронов. НС прямого распространения. Клюкин В.И - 41 стр.

UptoLike

ВУЗ: 

ВГУ | Воронеж

Составители: 

Рубрика: 

41
несущественным флуктуациям обучающих данных. Такая ситуация осо-
бенно заметна при использовании сети с излишним количеством весов.
Для предотвращения перетренированности НС служит контрольное под-
множество V, с помощью которого осуществляется оперативная проверка
фактически набранного уровня обобщения
()
G
Ew
r
.
3.3.2. Методы редукции и наращивания НС
Редукция ИНС производится для сокращения количества скрытых
нейронов и межнейронных связей, что усиливает способность сети к обоб-
щению. Большинство методов сокращения размерности НС можно разде-
лить на три группы:
1. Редукция НС с учетом величины весов предполагает отсечение ве-
сов, значительно меньших средних значений, поскольку они оказывают
небольшое влияние на уровень выходного сигнала связанных с ними ней-
ронов. Однако это не всегда справедливо и может быть связано, например,
с неудачным выбором
0
w
r
, то есть в случае отсечения могут произойти зна-
чительные изменения в функционировании НС. Поэтому этим методом це-
лесообразно пользоваться в редких и простейших случаях (например, от-
сечение одного или нескольких весов).
2. Редукция НС с учетом чувствительности основана на разложении
()
r
в ряд Тейлора (3.2) с использованием в качестве показателя важно-
сти конкретных весов вторых производных целевой функции. Одним из
лучших методов регуляризации НС считается метод OBD (Optimal Brain
Damage), в котором для упрощения задачи автор [Ле Кун] исходит из по-
ложительной определенности гессиана
()
Hw
r
, когда в качестве меры зна-
чимости используется коэффициент асимметрии
2
2
2
1
,
2
ijij
ij
E
Sw
w
=
(3.18)
содержащий только диагональные элементы
()
Hw
r
. Алгоритм OBD
выглядит следующим образом:
- полное предварительное обучение НС (любым способом);
- определение элементов S
ij
;
- сортировка w
ij
в порядке убывания S
ij
и отсечение наименее зна-
чимых (с минимальными S
ij
) w
ij
;
- возврат к началу и повторение процедуры с редуцированной НС.
Развитием метода OBD считается метод OBS (Optimal Brain Surgeon),
предложенный Б. Хассиби и Д. Шторком, где величина
2
1
1
2
i
i
ii
w
S
H
-
=
éù
ëû
(3.19) 
несущественным флуктуациям обучающих данных. Такая ситуация осо-
бенно заметна при использовании сети с излишним количеством весов.
Для предотвращения перетренированности НС служит контрольное под-
множество V, с помощью которого осуществляется оперативная проверка
                                            �
фактически набранного уровня обобщения EG ( w) .
3.3.2. Методы редукции и наращивания НС
       Редукция ИНС производится для сокращения количества скрытых
нейронов и межнейронных связей, что усиливает способность сети к обоб-
щению. Большинство методов сокращения размерности НС можно разде-
лить на три группы:
       1. Редукция НС с учетом величины весов предполагает отсечение ве-
сов, значительно меньших средних значений, поскольку они оказывают
небольшое влияние на уровень выходного сигнала связанных с ними ней-
ронов. Однако это не всегда справедливо и может быть связано, например,
                        �
с неудачным выбором w0 , то есть в случае отсечения могут произойти зна-
чительные изменения в функционировании НС. Поэтому этим методом це-
лесообразно пользоваться в редких и простейших случаях (например, от-
сечение одного или нескольких весов).
       2. Редукция НС с учетом чувствительности основана на разложении
    �
E ( w) в ряд Тейлора (3.2) с использованием в качестве показателя важно-
сти конкретных весов вторых производных целевой функции. Одним из
лучших методов регуляризации НС считается метод OBD (Optimal Brain
Damage), в котором для упрощения задачи автор [Ле Кун] исходит из по-
                                          �
ложительной определенности гессиана H ( w) , когда в качестве меры зна-
чимости используется коэффициент асимметрии
                                     1 �2E 2
                             Sij �           wij ,                (3.18)
                                     2 �wij2
                                                    �
     содержащий только диагональные элементы H ( w) . Алгоритм OBD
выглядит следующим образом:
     � полное предварительное обучение НС (любым способом);
     � определение элементов Sij;
     � сортировка wij в порядке убывания Sij и отсечение наименее зна-
чимых (с минимальными Sij) wij;
     � возврат к началу и повторение процедуры с редуцированной НС.
     Развитием метода OBD считается метод OBS (Optimal Brain Surgeon),
предложенный Б. Хассиби и Д. Шторком, где величина
                                  1 wi2
                             Si �                                 (3.19)
                                  2 �� H �1 ��
                                                 ii


                                           41

Страницы