Составители:
Рубрика:
35
ние может быть улучшено в том случае, если входной вектор пред"
ставлен в биполярной форме, а в качестве функции активации ис"
пользуется биполярная сигмоида.
Иногда данные (входные и целевые образы) могут быть представ"
лены или в виде непрерывных значений, или в виде набора состоя"
ний. К примеру, температура пищи может определяться действитель"
ной температурой или одним из следующих состояний: заморожен"
ная, холодная, комнатная, горячая. В первом случае используется
единственный нейрон; во втором – потребуется четыре нейрона. Для
нейронной сети легче обучиться набору различных состояний, чем
отклику с непрерывным значением.
Введение инерционной поправки. Можно показать, что поиск
минимума функции ошибок методом градиентного спуска оказыва"
ется достаточно медленным при малой скорости обучения h ; при боль"
шой скорости h имеем значительные осцилляции . В качестве приме"
ра на рис. 1.14 показаны четыре траектории пути градиентного спус"
ка, состоящих из 20 шагов (1 – h = 0, 02; 2 – h = 0, 047; 3 – h =
=0,049; 4 – h = 0,50). Отдельная траектория соответствует опреде"
ленному значению скорости обучения, откуда видно, что ее увеличе"
ние приводит к значительным колебаниям траектории относительно
контура постоянной ошибки (в виде эллипса).
+ +
12
3
4
Рис. 1.14
Есть ряд путей для решения этой проблемы, включая замену гра"
диентного спуска сложными минимизационными алгоритмами, од"
нако существует более простое и эффективное приближение, заклю"
чающееся в добавлении инерционного (моментного) члена к правилу
изменения весов. Такая добавка к весу вынуждает его изменяться в
направлении “среднего” спуска, вместо того чтобы осциллировать
относительно положения минимума. Подобная схема реализуется
посредством вклада от предыдущего временного шага к каждому из"
менению веса
(1) / (),
jk jk jk
wt E w wt1234566271
Страницы
- « первая
- ‹ предыдущая
- …
- 33
- 34
- 35
- 36
- 37
- …
- следующая ›
- последняя »
