Нейронные сети и нейроконтроллеры. Бураков М.В. - 71 стр.

UptoLike

ВУЗ: 

СПб ГУАП | Санкт-Петербург

Составители: 

Рубрика: 

71
Сигмоидная функция ограничивает значением единица силь-
ные сигналы и усиливает слабые.
Смысл алгоритма обратного распространения ошибки состоит в
том, что при обучении сети сначала предъявляется образ, для кото-
рого вычисляется ошибка выхода. Далее эта ошибка распространя-
ется по сети в обратном направлении, изменяя веса межнейронных
связей.
Алгоритм включает в себя такую же последовательность дей-
ствий, как и при обучении персептрона. Сначала веса межнейрон-
ных связей получают случайные значения, затем выполняются
следующие шаги:
1) выбирается обучающая пара (X, Z*), X подается на вход;
2) вычисляется выход сети Z = F(Y);
3) рассчитывается ошибка выхода E;
4) веса сети корректируются с целью минимизации ошибки;
5) возврат к п. 1 и т. д., пока не будет минимизирована ошибка
по всем обучающим парам.
Шаги 1 и 2 – это прямое распространение по сети, а шаги 3 и 4 –
обратное.
Перед обучением необходимо разбить имеющиеся пары вход-
выход на две части: обучающие и тестовые.
Тестовые пары используются для проверки качества обучения:
НС хорошо обучена, если при заданной тестовой паре выдает на
входе выход, близкий к тестовому.
При обучении возможна ситуация, когда НС показывает хоро-
шие результаты для обучающих данных, и плохие – для тестовых.
Это может быть обусловлено двумя причинами:
1. Тестовые данные сильно отличаются от обучающих, т. е. обу-
чающие пары охватывали не все области входного пространства.
2. Возникло явление «переобучения» (overfitting), при котором
поведение НС оказывается более сложным, чем решаемая задача.
Последний случай для задачи аппроксимации функции по точ-
кам иллюстрирует рис. 3.3, на котором светлые кружки соответ-
ствуют тестовым данным, а темные – обучающим.
На рис. 3.3 сплошная линия обозначает выход НС для произ-
вольного входа из области определения Х. График на рис. 3.3,а со-
ответствует хорошо обученной НС, а график на рис. 3.3,б – переобу-
ченной.
Рассмотрим для простоты изложения двухслойную ИНС ПР, в
которой веса скрытого слоя описываются вектором W, а веса вы-
ходного слоя – вектором V (рис. 3.4).

Страницы