Нейросетевые технологии. Каширина И.Л. - 16 стр.

UptoLike

ВУЗ: 

ВГУ | Воронеж

Составители: 

Рубрика: 

16
ключается в итерационной подстройке матрицы весов W (w
ij
– вес синап-
сической связи между i-м входом и j-м нейроном), последовательно
уменьшающей ошибку в выходных векторах. Алгоритм включает следую-
щие шаги.
Шаг 0. Проинициализировать элементы весовой матрицы W неболь-
шими случайными значениями.
Шаг 1. Подать на входы один из входных векторов
k
X и вычислить ее
выход .Y
Шаг 2. Если выход правильный (
)
k
YY =
, перейти на шаг 4. Иначе вы-
числить вектор ошибки – разницу между идеальным и полученным значе-
ниями выхода: YY
k
−
=
δ
.
Шаг 3. Матрица весов модифицируется по следующей формуле:
i
t
ij
t
ij
xww ⋅⋅+=
+
δν
1
. Здесь t и t + 1 – номера соответственно текущей и сле-
дующей итераций;
ν – коэффициент скорости обучения, )10( ≤<
ν
;
i
x –
i-я компонента входного вектора
k
X ; j – номер нейрона в слое.
Шаг 4. Шаги 1–3 повторяются для всех обучающих векторов. Обуче-
ние завершается, когда сеть перестанет ошибаться.
Представленный метод обучения носит название «
δ
-правило». Дока-
занная Розенблаттом теорема о сходимости обучения по
δ
-правилу гово-
рит о том, что персептрон способен обучиться любому обучающему набо-
ру, который он способен представить. Ниже мы более подробно обсудим
возможности персептрона по представлению информации.
Линейная разделимость и персептронная представляемость
Каждый нейрон персептрона является формальным пороговым эле-
ментом, принимающим единичные значения в случае, если суммарный
взвешенный вход больше некоторого порогового значения:
1
1
0, ;
.
1,
n
ii
i
j
n
ii
i
xw
Y
xw
=
=
⎧
⎪
⋅
<Θ
⎪
⎪
=
⎨
⎪
⎪
⋅
≥Θ
⎪
⎩
∑
∑
Таким образом, при заданных значениях весов и порогов, нейрон име-
ет определенное выходное значение для каждого возможного вектора вхо-
дов. Множество входных векторов, при которых нейрон активен (
j
Y = 1),
отделено от множества векторов, на которых нейрон пассивен (
j
Y = 0), ги-
ключается в итерационной подстройке матрицы весов W (wij – вес синап-
сической связи между i-м входом и j-м нейроном), последовательно
уменьшающей ошибку в выходных векторах. Алгоритм включает следую-
щие шаги.

Шаг 0.       Проинициализировать элементы весовой матрицы W неболь-
шими случайными значениями.
Шаг 1.       Подать на входы один из входных векторов X k и вычислить ее
выход Y .
Шаг 2.       Если выход правильный ( Y = Y k ) , перейти на шаг 4. Иначе вы-
числить вектор ошибки – разницу между идеальным и полученным значе-
ниями выхода: δ = Y k − Y .
Шаг 3.       Матрица весов модифицируется по следующей формуле:
  t +1
wij = wij + ν ⋅ δ ⋅ xi . Здесь t и t + 1 – номера соответственно текущей и сле-
       t


дующей итераций; ν – коэффициент скорости обучения, (0 < ν ≤ 1) ; xi –
i-я компонента входного вектора X k ; j – номер нейрона в слое.
Шаг 4.     Шаги 1–3 повторяются для всех обучающих векторов. Обуче-
ние завершается, когда сеть перестанет ошибаться.
     Представленный метод обучения носит название « δ -правило». Дока-
занная Розенблаттом теорема о сходимости обучения по δ -правилу гово-
рит о том, что персептрон способен обучиться любому обучающему набо-
ру, который он способен представить. Ниже мы более подробно обсудим
возможности персептрона по представлению информации.

      Линейная разделимость и персептронная представляемость

     Каждый нейрон персептрона является формальным пороговым эле-
ментом, принимающим единичные значения в случае, если суммарный
взвешенный вход больше некоторого порогового значения:
                                 ⎧ n
                                ⎪⎪ 0, ∑
                                 ⎪          xi ⋅ wi < Θ;
                                       i =1
                          Yj = ⎨ n                       .
                                 ⎪
                               ⎪⎩ ∑
                                 ⎪ 1, xi ⋅ wi ≥ Θ
                                      i =1

     Таким образом, при заданных значениях весов и порогов, нейрон име-
ет определенное выходное значение для каждого возможного вектора вхо-
дов. Множество входных векторов, при которых нейрон активен ( Y j = 1),
отделено от множества векторов, на которых нейрон пассивен ( Y j = 0), ги-


                                      16

Страницы