Математические методы искусственного интеллекта. Броневич А.Г - 13 стр.

UptoLike

ВУЗ: 

ТТИ ЮФУ | Таганрог

Составители: 

Рубрика: 

13
()
(( , ) ) 1 0, 1,...,
ii i
yb im
λ
+−= =wx .
Из необходимых условий минимума [полагая, что
12
(, ,..., )
iii in
x
xx=x ] имеем
1
1
0 , 1,..., ;
0.
m
jiiij
j
i
m
ii
i
L
wyxjn
w
L
y
b
λ
λ
=
=
⎧
∂
==− =
⎪
∂
⎨
∂
⎪
==
∂
⎩
∑
∑
Откуда следует, что вектор
w следует искать в виде
1
m
iii
i
y
λ
=
=
∑
wx, (5)
причем
1
0
m
ii
i
y
λ
=
=
∑
. (6)
В сумму (5) с ненулевыми коэффициентами
i
λ
входят только те векторы, для
которых верно равенство
(( , ) ) 1 0
ii
yb+−=wx , т.е. опорные векторы. При най-
денном
w смещение b можно вычислить как
1
(, )
s
s
by
−
=−wx для любого
опорного вектора
s
x .
Найдем значения множителей Лагранжа как критических точек ла-
гранжиана. Для этого подставим (5) и (6) в лагранжиан, и получим
1
( , , ) 0, 5( , ) ( (( , ) ) 1)
m
ii i
i
Lb y b
λ
=
=− +−=
∑
w λ ww wx
11
0, 5( , ) ( , ) 0, 5( , )
mm
ii
ii
λλ
==
⎛⎞
=−−=−=
⎜⎟
⎝⎠
∑∑
ww ww ww
2
1,1 1 1
0, 5 ( , ) 0, 5
mm m m
i i ji j i j i iii
iij i i
yy y
λλλ λ λ
== = =
=− =−
∑∑ ∑ ∑
xx x
.
Таким образом, задача сводится к нахождению критических точек функции
2
11
() 0,5
mm
i iii
ii
y
λλ
==
Φ= −
∑∑
λ x . (7)
Так как функция (7) представляет собой разность линейной и квадратичной
функций, причем квадратичная функция отрицательно определена, то требу-
ется найти наибольшее значение функции ()Φ λ при условии
1
0
m
ii
i
y
λ
=
=
∑
в об-
ласти 0 ( 1,..., )
i
im
λ
≥= . Существует много алгоритмов (в теории оптимиза-
ции) решения этой задачи (например, градиентные методы, метод покоорди-
натного спуска и т.д.).
Замечания.
1.
Суммирование в (7) осуществляется не по всем векторам, а только
по опорным, которых может быть гораздо меньше, чем обучающих.
2.
Линейная решающая функция в результате имеет вид
1
() ( , ) ( , )
ii i r ii i r
ii
fyyy
λλ
−
=+−
∑∑
xxx xx,

Страницы