Нейронные сети и нейроконтроллеры. Бураков М.В. - 75 стр.

UptoLike

ВУЗ: 

СПб ГУАП | Санкт-Петербург

Составители: 

Рубрика: 

75
Достоинство АОРО заключается в том, что он обобщается для
ИНС ПР с любым число слоев.
Алгоритм обратного распространения ошибки нашел примене-
ние в ряде прикладных разработок. Особенно впечатляющие успе-
хи достигнуты при распознавании печатных букв, когда эффектив-
ность алгоритма близка к 100%. Однако применение АОРО в дру-
гих задачах может быть затруднено ввиду причин, характерных
для градиентных алгоритмов минимизации:
• при больших значениях сигмоидной функции ее производная
становится весьма малой, и процесс обучения замедляется;
• поверхность ошибки сложной сети может иметь локальные
минимумы, обнаружив которые сеть перестанет улучшать свое по-
ведение.
Работу АОРО можно улучшить, учитывая вторые производные
активационной функции.
Ускорения работы алгоритма можно добиться при использова-
нии переменной скорости обучения η. В начале работы АОРО ее ве-
личина имеет значение, близкое к единице, а затем последователь-
но уменьшается примерно до 0,01. Это позволяет быстро подойти к
окрестности минимума, а затем точно попасть в него.
Однако локальность АОРО является принципиальным ограни-
чением его использования. Если функция ошибки имеет сложный
характер, то требуется использовать методы случайного поиска.
Тем не менее АОРО может быть успешно применен во многих прак-
тических задачах, некоторые из которых будут рассмотрены далее.
3.3. Реализация логических функций
Рассмотрим задачу классификации бинарных векторов длиной
4 бита: если вектор содержит нечетное число единичных битов, то
на выходе сети должна быть 1, в противном случае – 0.
Пример 3.3. Входные векторы описываются матрицей
>> inp = [0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1;
0 0 0 0 1 1 1 1 0 0 0 0 1 1 1 1;
0 0 1 1 0 0 1 1 0 0 1 1 0 0 1 1;
0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1]
Выходной вектор:
>> out=[0 1 1 0 1 0 0 1 1 0 0 1 0 1 1 0]

Страницы