ВУЗ:
Составители:
Рубрика:
5. ПРИНЯТИЕ РЕШЕНИЯ В НЕЙРОСЕТЕВЫХ СИСТЕМАХ
Очевидно, чтобы система хорошо работала и решала практические задачи, необходимо её обучить. Если говорить в
общем, то обучение это относительно постоянный процесс изменения поведения при поступлении жизненного опыта. Если
говорить о человеке, то результат его обучения оценивается по действиям и поступкам. Обучение же нейронных сетей –
более прямой процесс.
Обучение нейронных сетей рассматривается как процесс аппроксимации непрерывной функции y(X) другой функцией
Y(W, X), где X = [x
1
, x
2
, ..., x
n
]
t
– входной вектор, а W = [w
1
, w
2
, ..., w
n
]
t
– вектор весовых коэффициентов.
Задача обучения состоит в выборе вектора W, такого, что достигается лучшая аппроксимация, т.е.:
ρ(Y(W
*
, X), y(X)) ≤ ρ( Y(W
*
, X), y(X)), (75)
где ρ(Y(W, X), y(X)) – функция расстояния, которая определяет значение качества аппроксимации между Y(W, X) и y(X)).
Все алгоритмы обучения делятся на две большие группы: с учителем и без учителя.
Рассмотрим алгоритм обучения с учителем многослойной нейронной сети. Предполагается, что в каждый момент
времени вместе с входами формируется желаемое значение выхода d, которое поступает от учителя. Это иллюстрируется на
рис. 15.
y
cигнал
обучения d
ρ (d,y)
СЕТЬ W
Определение
расстояния
x
Рис. 15
По значениям реального выхода и желаемого выхода формируется ошибка, которая используется для корректировки
параметров нейронной сети. Множество входных и выходных образцов, называемых обучающим множеством, является
необходимым для такого способа обучения. “Учитель” оценивает негативное направление градиента ошибки и
соответственно сеть уменьшает ошибку. Во многих ситуациях, входы, выходы и вычисляемые градиенты являются
детерминистическими, однако минимизация осуществляется по случайному закону. И, как результат, большинство
алгоритмов обучения с учителем используют стохастическую минимизацию ошибки в многомерном пространстве весов.
Рассмотрим стандартный алгоритм обучения многослойных нейронных сетей на основе обратного распространения
ошибки (back-propagation).
Цель обучения состоит в определении всех весовых коэффициентов, при которых ошибка вычислений будет
минимальной. Обучение сети осуществляется на основе множества пар “вход-выход”. Каждый пример обучения состоит из
вектора X = [ x
1
, x
2
, ..., x
n1
] входных сигналов и вектора D = [d
1
, d
2
, ..., d
n3
] желаемых результатов. Обучение состоит в
определении всех весовых коэффициентов, таких что значение ошибки между желаемыми и действительными выходными
сигналами будет минимальной (близкой к 0).
Рассматриваемый метод использует пошаговый градиентный подход для минимизации функции квадрата ошибки. С
выводом всех необходимых формул можно ознакомиться в работах [8, 9]. Функциональная схема алгоритма обучения с
обратным распространением ошибки представлена на рис. 16. Главным при данном способе обучения является определение
локальной ошибки δ
j
s
(s = 1, 2). В выходном слое ошибка определяется как функция от желаемого и действительного
результатов и сигмоидальной функции активации. Для скрытого слоя локальная ошибка определяется на базе ранее
определённых локальных ошибок выходного слоя.
Страницы
- « первая
- ‹ предыдущая
- …
- 32
- 33
- 34
- 35
- 36
- …
- следующая ›
- последняя »
