Нейросетевые структуры и технологии. Часть 1. Электрические и математические модели нейронов. НС прямого распространения. Клюкин В.И - 36 стр.

ИО с соответствующим удлинением циклов, если же моделирование может
быть более длительным, статистически лучшие результаты достигаются при
многократной реализации процесса ИО с большими (близкими к 1) значе-
ниями r и последующим выбором оптимального решения.
      Таким образом, метод ИО наиболее эффективен для полимодальных
комбинаторных проблем с большим числом возможных решений, напри-
мер, для машины Больцмана, в которой каждое состояние системы (с раз-
личной вероятностью) считается допустимым. В общем же случае при ре-
шении наиболее распространенных задач обучения многослойных НС наи-
лучшие результаты достигаются применением стохастических методов со-
вместно с детерминированными алгоритмами локальной оптимизации.
3.2.4.2. Генетические алгоритмы (ГА)
       Генетические алгоритмы, первоначально предложенные Дж. Хол-
ландом и использованные Д. Гольдбергом для численных оптимизацион-
ных расчетов в 70-х годах прошлого века, имитируют процессы наследо-
вания свойств живыми организмами и генерируют последовательности но-
                          �
вых векторов              w , содержащие оптимизированные переменные
 �
w � � w1 , w2 , �, wn � . При этом выполняются операции трех видов: селекция,
                       T


скрещивание и мутация.
       На исходной стадии ГА случайным образом инициализируется оп-
                                                �
ределенная популяция хромосом (векторов w ). Размер популяции постоя-
нен и обычно пропорционален количеству оптимизируемых параметров,
поскольку слишком малая или слишком большая популяции приводят ли-
бо к замыканию в локальных минимумах, либо чрезмерно увеличивают
вычислительные затраты без гарантии достижения глобального минимума.
       Селекция (отбор) хромосом для создания нового поколения может
производится разными способами, однако самым распространенным счи-
тается принцип элитарности, при котором наиболее приспособленные (в
                �
смысле E ( w) ) хромосомы сохраняются, а наихудшие отбрасываются и за-
меняются вновь созданным потомством, полученным в результате скрещи-
вания пар родителей.
       Количество методов скрещивания достаточно велико, от полностью
случайного до турнирного. Чисто случайное спаривание осуществляется
среди наиболее приспособленных хромосом, взвешенно-случайные методы
                                                    �
используют информацию о текущем значении E ( w) , например, при отборе
по принципу рулетки вероятность скрещивания конкретной хромосомы
                                                                 �        �
пропорциональна величине ее функции приспособленности F ( w) � � E ( w) .
Процесс скрещивания основан на рассечении пары хромосом на 2 части с
последующим обменом этих частей в хромосомах родителей (рис. 3.2).
Место рассечения выбирается случайным образом, количество новых по-
томков равно количеству отбракованных в результате селекции, допуска-
                                        36