Нейросетевые структуры и технологии. Часть 1. Электрические и математические модели нейронов. НС прямого распространения. Клюкин В.И - 38 стр.

           �                                          �
(частице) w0 добавляется несколько других wi , траектории которых полу-
                                                                                 �
чаются из траектории исходной частицы сдвигом на случайные векторы ri ,
        � � �                                �
то есть wi � w0 � ri , где координаты ri независимо и равномерно распреде-
лены в заданных интервалах случайных сдвигов. Далее минимизируется
             �         �         � �                 � �
функция E � w � � E � w0 � � E � w0 � r1 � � � � E � w0 � rn � с помощью любого ме-
тода локальной оптимизации.
      Поскольку «виртуальные» частицы время от времени уничтожаются
и рождаются новые, естественно возникает вопрос: когда это делать? Наи-
более перспективен подход, в котором порождение новых частиц произво-
дится при рестартах после каждого цикла основного алгоритма обучения,
поскольку в этом случае не разрушается базовая структура обучения, а
многократное порождение виртуальных частиц позволяет приблизиться к
глобальному оптимуму.

3.3. Проблемы практической реализации ИНС
         Для решения какой-либо задачи с применением ИНС нужно, прежде
всего, создать структуру сети, адекватную поставленной задаче (аналогич-
но составлению соответствующей программы для универсальной ЭВМ).
Это предполагает выбор количества слоев НС и числа нейронов в каждом
слое, а также определение необходимых связей между ними.
3.3.1. Выбор оптимальной архитектуры
         Как уже упоминалось (п. 3.1, теорема КАХН), количество нейронов
входного слоя НС определяется размерностью N входного вектора
 �
 x � � x1 , x2 , �, xN � , количество нейронов выходного слоя – размерностью M
                        T

                             �
ожидаемого вектора d � � d1 , d 2 , �, d M � . Определение минимального числа
                                             T


скрытых слоев основано на использовании свойств аппроксимирующих
функций. Для непрерывного преобразования X�Y (см. теорему КАХН) дос-
таточно иметь один скрытый слой с K = (2N + 1) нейронами, в случае дис-
кретного преобразования необходимое число скрытых слоев возрастает до
двух [1]. В практических реализациях ИНС как количество скрытых слоев,
так и число нейронов в них могут отличаться от теоретически предлагаемых.
За немногими исключениями, чаще всего используются НС, имеющие один
(максимум – 2) скрытый слой, в котором К = N…3N.
         Определение оптимального числа К основано на способности ИНС
к обобщению полученных знаний, то есть выдаче правильных результа-
тов при подаче на ее вход данных, не входящих непосредственно в обу-
чающую выборку. Пример разделения множества данных, подчиняю-
щихся правилу R, на обучающее L, контрольное V и тестовое G подмно-
жества приведен на рисунке 3.3. Элементы L и G должны быть типич-
ными элементами множества R. Способность отображения сетью эле-
                                           38