Нейросетевые структуры и технологии. Часть 1. Электрические и математические модели нейронов. НС прямого распространения. Клюкин В.И - 56 стр.

UptoLike

ВУЗ: 

ВГУ | Воронеж

Составители: 

Рубрика: 

56
Формирование каждого скрытого слоя начинают с подготовки ней-
ронов-кандидатов (обычно 5…10), подбор входных весов которых (фикси-
руемых при включении в НС) осуществляется по значению максимума
функции корреляции S, зависящей от выходного сигнала кандидата при
подаче всех обучающих выборок. Каждый нейрон-кандидат представляет
собой обособленный элемент, соединенный со всеми входами сети и с вы-
ходами ранее введенных нейронов. Начальные веса нейронов-кандидатов
выбирают случайным образом, после обучения в каскадную НС ставится
лучший из претендентов, что уменьшает вероятность попадания НС в точ-
ку локального минимума
(
)
Ew
r
из-за ввода в сеть нейрона с плохо подоб-
ранными входными весами, которые уже невозможно будет откорректиро-
вать на последующих этапах обучения.
Каждый нейрон, претендующий на включение в сетевую структуру,
может иметь свою функцию активации – сигмоидальную, гауссовскую, ради-
альную и т. п. Поскольку побеждают те нейроны, которые лучше приспосаб-
ливаются к условиям, созданным множеством обучающих данных, то сеть
Фальмана может объединять нейроны с различными функциями активации.
Заметим, что, несмотря на большое количество слоев, НС Фальмана не тре-
бует применения алгоритма ОРО при обучении, поскольку в процессе мини-
мизации
(
)
Ew
r
задействованы весовые коэффициенты только выходного
слоя, для которых погрешность рассчитывается непосредственно.
Для проверки обобщающих свойств НС Фальмана был рассмотрен при-
мер аппроксимации функции двух переменных
(
)
(
)
2
(,)0,5sin
π sin2π
=
для
значений x,y Î [–1, 1]. В качестве обучающих данных использовались 500 зна-
Рис. 4.5. Структура сети каскадной корреляции Фальмана
Поляризация
Входы
Скрытый
нейрон 1
1
Скрытый
нейрон 2
Скрытый
нейрон 3
Выходные
нейроны
Выходы 
      Формирование каждого скрытого слоя начинают с подготовки ней-
ронов-кандидатов (обычно 5…10), подбор входных весов которых (фикси-
руемых при включении в НС) осуществляется по значению максимума
функции корреляции S, зависящей от выходного сигнала кандидата при
подаче всех обучающих выборок. Каждый нейрон-кандидат представляет
собой обособленный элемент, соединенный со всеми входами сети и с вы-
ходами ранее введенных нейронов. Начальные веса нейронов-кандидатов
выбирают случайным образом, после обучения в каскадную НС ставится
лучший из претендентов, что уменьшает вероятность попадания НС в точ-
                           �
ку локального минимума E � w � из-за ввода в сеть нейрона с плохо подоб-
ранными входными весами, которые уже невозможно будет откорректиро-
вать на последующих этапах обучения.

                                                         Выходы
                                          Выходные
                                           нейроны
                          Скрытый
                          нейрон 3
                 Скрытый
                 нейрон 2
      Скрытый
      нейрон 1




   Входы


        1
            Поляризация

               Рис. 4.5. Структура сети каскадной корреляции Фальмана

       Каждый нейрон, претендующий на включение в сетевую структуру,
может иметь свою функцию активации – сигмоидальную, гауссовскую, ради-
альную и т. п. Поскольку побеждают те нейроны, которые лучше приспосаб-
ливаются к условиям, созданным множеством обучающих данных, то сеть
Фальмана может объединять нейроны с различными функциями активации.
Заметим, что, несмотря на большое количество слоев, НС Фальмана не тре-
бует применения алгоритма ОРО при обучении, поскольку в процессе мини-
              �
мизации E � w � задействованы весовые коэффициенты только выходного
слоя, для которых погрешность рассчитывается непосредственно.
       Для проверки обобщающих свойств НС Фальмана был рассмотрен при-
                                                                        � �
мер аппроксимации функции двух переменных f (x, y) � 0,5sin πx2 sin� 2πy� для
значений x,y � [–1, 1]. В качестве обучающих данных использовались 500 зна-
                                               56

Страницы