Оценка надежности классифицирующих алгоритмов. Гуров С.И. - 6 стр.

UptoLike

ВУЗ: 

МГУ | Москва

Составители: 

Рубрика: 

f
∗
(x) p (x)
¯x
m
R
e
m
(f)
R
e
m
(f) ,
1
m
m
X
i=1
Q ( f
∗
(x
i
), f(x
i
) ) .
R (f
min
) R
e
m
(f
min
)
f
min
= arg min
f
©
R
e
m
(f)
ª
m ¯x
m
p
ij
p
ij
, P (X
ij
) =
Z
X
ij
p (x) dx, i, j = 1, s ,
X
ij
,
©
x | x ∈ X, f
∗
(x) = K
i
, f(x) = K
j
ª ©
X
ij
ª
s, s
i,j=1
s
2
X x
K
i
K
j
i 6= j p
ij
R (f) =
s
X
i=1
s
X
j=1
c
ij
p
ij
.
c
ii
= c
r
, c
ij
= c
w
, (i 6= j) X
X
r
X
w
ν = P (X
r
)
R (f) = c
r
ν + c
w
(1 − ν) ,
c
r
= 0, c
w
= 1 R (f) = 1 − ν
©
p
ij
ª
s, s
i,j=1
ν
Z = Z (X, s, L, m, ¯x
L
, ¯γ
L
,
¯
f
∗
(¯x
L
) ) f
R
Z
(·)
R
Z
(f) Z1 Z2
Z2
Z1
Z1
   ßñíî, ÷òî ïðÿìîå èñïîëüçîâàíèå çàâèñèìîñòè (1) äëÿ âû÷èñëåíèÿ ñðåäíåãî ðèñêà
íåâîçìîæíî â ñèëó íåèçâåñòíîñòè f ∗ (x) äàæå ïðè èçâåñòíîì ðàñïðåäåëåíèè p (x). ×òîáû
îáîéòè äàííóþ òðóäíîñòü, ïðè ïîñòðîåíèè êëàññèôèêàòîðà ïî ïðåöåäåíòàì x̄m èñïîëüçóþò
ôóíêöèîíàë ýìïèðè÷åñêîãî ðèñêà Rm e
                                     (f ):
                                              m
                              e          1 X
                             Rm (f ) ,         Q ( f ∗ (xi ), f (xi ) ) .                  (2)
                                         m i=1

Îäíàêî òàêàÿ çàìåíà ôóíêöèîíàëîâ òóò æå ïîðîæäàåò âîïðîñ î ñâÿçè ìèíèìàëüíûõ
çíà÷åíèé ýìïèðè÷åñêîãî è ñðåäíåãî ðèñêîâ. Îòâåò íà ýòîò âîïðîñ äàåò òåîðèÿ VC
ðàâíîìåðíîé ñõîäèìîñòè ÷àñòîò ê âåðîÿòíîñòÿì â óñëîâèÿõ êîíå÷íîñòè âûáîðîê,
ïðåäëîæåííàÿ Â.Í. Âàïíèêîì è À.ß. ×åðâîíåíêèñîì [12], [13]. Ê ñîæàëåíèþ îêàçûâàåòñÿ,
÷òî â ðàìêàõ VC ãàðàíòèðîâàòü ìàëîñòü R (fmin ) ïðè ìàëîì Rme
                                                              (fmin ), ãäå
                                            © e      ª
                             fmin = arg min Rm (f )
                                                  f

ìîæíî ëèøü ïðè äîñòàòî÷íî áîëüøèõ îáú¼ìàõ m îáó÷àþùåé âûáîðêè x̄m .
   Ïðîáëåìà îöåíêè íàäåæíîñòè ð.ï. áûëà áû ñíÿòà, åñëè áû óäàëîñü îïðåäåëèòü èëè õîòÿ
áû îöåíèòü âåðîÿòíîñòè pij
                                        Z
                       pij , P (Xij ) =   p (x) dx, i, j = 1, s ,                 (3)
                                            Xij

           ©                                   ª            © ªs, s
ãäå Xij , x | x ∈ X , f ∗ (x) = Ki , f (x) = Kj . Ïîäîáëàñòè Xij i,j=1  ýòî s2 îáëàñòåé
ðàçáèåíèÿ ïðîñòðàíñòâà îáðàçîâ X , ñîîòâåòñòâóþùèõ ñèòóàöèÿì, êîãäà x ïðèíàäëåæèò
êëàññó Ki , à ðåøàþùåå ïðàâèëî îòíîñèò åãî ê êëàññó Kj . Ïðè i 6= j pij ñóòü âåðîÿòíîñòè
îøèáîê êëàññèôèêàöèè ñîîòâåòñòâóþùåãî ðîäà.
   Òåïåðü ìîæíî ÿâíî âû÷èñëèòü ñðåäíèé ðèñê
                                              s X
                                              X s
                                   R (f ) =              cij pij .                         (4)
                                               i=1 j=1

 ïðåäïîëîæåíèÿõ cii = cr , cij = cw , (i 6= j) ìîæíî ïîëàãàòü X ðàçáèòûì íà äâå ïîäîáëàñòè
 ïðàâèëüíûõ Xr è íåïðàâèëüíûõ Xw êëàññèôèêàöèé è îáîçíà÷èòü ν = P (Xr ). Òîãäà

                                  R (f ) = cr ν + cw (1 − ν) ,

à ïðè cr = 0, cw = 1 èìååì R (f ) = 1 − ν .                                         © ªs, s
   Èòàê, íàäåæíîñòü êëàññèôèêàöèè ð.ï. îïðåäåëÿåòñÿ íàáîðîì âåðîÿòíîñòåé pij i,j=1
èëè âåëè÷èíîé ν (âåðîÿòíîñòü ïðàâèëüíîé êëàññèôèêàöèè).
   Çàäà÷à êëàññèôèêàöèè Z = Z (X , s, L, m, x̄L , γ̄L , f¯∗ (x̄L ) ) ñîñòîèò â âûáîðå ð.ï. f ,
ìèíèìèçèðóþùåãî òîò èëè èíîé ôóíêöèîíàë RZ (·) (îáû÷íî ýòî ñðåäíèé ðèñê) è îöåíêè
ïîëó÷åííîé âåëè÷èíû RZ (f ). Óêàçàííûå ïîäçàäà÷è áóäåì îáîçíà÷àòü Z1 è Z2. Êîãäà
ïîçâîëÿåò èìåþùàÿñÿ èíôîðìàöèÿ (óäàåòñÿ âîññòàíîâèòü ïëîòíîñòè ñîîòâåòñòâóþùèõ
ðàñïðåäåëåíèé), ýòè ïîäçàäà÷è ðåøàþòñÿ ïàðàëëåëüíî è ñîãëàñîâàíî. Íà ïðàêòèêå æå,
â ñèëó âûøåóïîìÿíóòûõ ïðè÷èí, îáå ïîäçàäà÷è ðåøàþò, êàê ïðàâèëî, ïðèáëèæåííî è
ðàçäåëüíî (õîòÿ, âîçìîæíî, è èñïîëüçóþò ðåçóëüòàòû Z2 äëÿ êîððåêòèðîâêè èëè âûáîðà
ðåøàþùèõ ïðàâèë Z1).
   Çàìåòèì, ÷òî ïðåäëîæèòü äëÿ ðåøåíèÿ Z1 ðåøàþùåå ïðàâèëî, îñíîâàííîå íà òåõ èëè
èíûõ èäåÿõ, âîîáùå ãîâîðÿ, íåñëîæíî. Ðàçëè÷íûå ïîäõîäû ê ïîñòðîåíèþ êëàññèôèêàòîðîâ

Страницы