Оценка надежности классифицирующих алгоритмов. Гуров С.И. - 8 стр.

Ïðè ìàëûõ îáú¼ìàõ îáó÷àþùåé âûáîðêè ïðåäëàãàåòñÿ ìåòîä ãåíåðàöèè íîâûõ m
ïðåöåäåíòîâ â íåêîòîðîé îêðåñòíîñòè êàæäîãî ïðåöåäåíòà ñîîòâåòñòâèè ñ âèäîì ÿäðà (ò.í.
¾ìåòîä äèíàìè÷åñêèõ ñãóùåíèé¿). Îäíàêî îêàçûâàåòñÿ, ÷òî ïðè ôèêñèðîâàííîì îáú¼ìå
l âûáîðêè è ðîñòå ÷èñëà m ïîëó÷åííîå ðàñïðåäåëåíèå, âîîáùå ãîâîðÿ, íå ñòðåìèòñÿ ê
èñòèííîìó.
    Ïåðñïåêòèâíûì ïðåäñòàâëÿåòñÿ ïîäõîä [14], îñíîâàííûé íà îáúåäèíåíèè àïðèîðíîé è
ýìïèðè÷åñêîé èíôîðìàöèè îá èñêîìîì ðàñïðåäåëåíèè.
    Âàæíûì ÿâëÿåòñÿ òî, ÷òî çàäà÷à (ïàðàìåòðè÷åñêîãî èëè íåïàðàìåòðè÷åñêîãî)
âîññòàíîâëåíèÿ p (x) ÿâëÿåòñÿ, âîîáùå ãîâîðÿ, áîëåå ñëîæíîé [12], ÷åì çàäà÷à
êëàññèôèêàöèè7 . Âîññòàíîâëåíèå ðàñïðåäåëåíèÿ âåðîÿòíîñòåé ïî ýìïèðè÷åñêèì äàííûì
ÿâëÿåòñÿ ãåíåðàëüíîé ïðîáëåìîé ìàòåìàòè÷åñêîé ñòàòèñòèêè. Èñêîìàÿ ïëîòíîñòü
âåðîÿòíîñòåé p (x) ïîëíîñòüþ îïðåäåëÿåò âñå âåðîÿòíîñòíûå ñâîéñòâà ïðîñòðàíñòâà
X , à íå òîëüêî èñïîëüçóåìûå â çàäà÷å Z â ñâÿçè ñ êîíêðåòíûì ôèêñèðîâàííûì
åãî ðàçáèåíèåì. Òàêèì îáðàçîì, âîññòàíîâëåíèå íåèçâåñòíîé ôóíêöèè ðàñïðåäåëåíèÿ
â çàäà÷àõ ðàñïîçíàâàíèÿ îáðàçîâ, êàê ïðàâèëî, íå ÿâëÿåòñÿ ðàöèîíàëüíûì øàãîì.
Èñêëþ÷åíèÿ ìîãóò ñîñòàâëÿòü ëèøü ñèëüíî âûðîæäåííûå ñëó÷àè8 .  ñèëó ýòîãî
óêàçàííûå ïîäõîäû ìîãóò îêàçàòüñÿ ýôôåêòèâíûìè ëèøü ïðè íàëè÷èè áîëüøîãî îáú¼ìà
ïðåöåäåíòíîé èíôîðìàöèè.
    Îòìåòèì, ÷òî â îáîèõ îïèñàííûõ âûøå ïîäõîäàõ ðàññìîòðåííûå ìåòîäû ïðèìåíÿþò,
êàê ïðàâèëî, äëÿ íàõîæäåíèÿ ÿâíîãî âèäà óñëîâíûõ ðàñïðåäåëåíèé
                                                          ©     ªsp ( x | Kt ) îáðàçîâ x èç
êëàññîâ Kt , t = 1, s . Çàòåì, ñ÷èòàÿ íàáîð âåðîÿòíîñòåé p (Kt ) t=1 ïîÿâëåíèÿ îáðàçîâ
                                                                            ©          ªs
äàííîãî êëàññà èçâåñòíûì, ïî ôîðìóëå Áàéåñà âû÷èñëÿþò âåðîÿòíîñòè p ( Kt | x ) t=1
ïðèíàäëåæíîñòè îáðàçà x êëàññó Kt . Ïî äàííîìó íàáîðó ðàñïðåäåëåíèé âû÷èñëÿþò
îòíîøåíèÿ ëîãàðèôìîâ ñðåäíèõ ðèñêîâ ïðè äàííîì ð.ï., íà îñíîâå ÷åãî ïðèíèìàåòñÿ
ðåøåíèå î êëàññèôèêàöèè äàííîãî îáðàçà.  íåêîòîðûõ ÷àñòíûõ ñëó÷àÿõ äàííûé ìåòîä
ìîæåò áûòü äîâåäåí äî ïîëó÷åíèÿ îïòèìàëüíîãî êëàññèôèêàòîðà â ÿâíîì âèäå9 . Îäíàêî
è â ýòîì ñëó÷àå âåðîÿòíîñòè îøèáîê êëàññèôèêàöèè ïðåäñòàâëÿþòñÿ â âèäå èíòåãðàëîâ
îò óñëîâíûõ âåðîÿòíîñòåé ïî îïðåäåë¼ííûì ïîäîáëàñòÿì ïðîñòðàíñòâà ïðèçíàêîâ, ïðè÷åì
ãðàíèöû ýòèõ îáëàñòåé îêàçûâàþòñÿ çàäàííûìè íåÿâíî è èìåþò,   © êàê
                                                                 ªs, s ïðàâèëî, ñëîæíóþ
ôîðìó. ßñíî, ÷òî òàêèå ôîðìóëû äëÿ îïðåäåëåíèÿ âåëè÷èí pij i,j=1 íåïðèãîäíû äëÿ
ïðàêòè÷åñêîãî èñïîëüçîâàíèÿ.
    Íàèáîëåå ðàçðàáîòàííûå ðåçóëüòàòû â îáëàñòè íàäåæíîñòè àëãîðèòìîâ êëàññèôèêàöèè
ïîëó÷åíû â ðàìêàõ óæå óïîìèíàâøåéñÿ òåîðèè VC Âàïíèêà-×åðâîíåíêèñà.  òåîðèè
VC íàéäåíû íåîáõîäèìûå è äîñòàòî÷íûå óñëîâèÿ ðàâíîìåðíîé ñõîäèìîñòè ÷àñòîò νl (A)
ïîÿâëåíèÿ ñîáûòèé A â l ýêñïåðèìåíòàõ ïî ñõåìå Áåðíóëëè íà çàäàííîì ïîäìíîæåñòâå
F ∗ σ -àëãåáðû ñîáûòèé ê èõ âåðîÿòíîñòÿì P {A}, ò.å. êðèòåðèé âûïîëíåíèÿ ñîîòíîøåíèÿ
                    n      ¯              ¯    o
                   P sup ¯ P (A) − νl (A) ¯ > ε −−−→ 0, 0 < ε < 1 .
                       A∈F ∗                          l→∞


Äëÿ ïðèìåíåíèÿ òåîðèè VC íå òðåáóåòñÿ âîññòàíàâëèâàòü ïëîòíîñòè ðàñïðåäåëåíèÿ
  7 Ïðè  ýòîì îáå çàäà÷è ÿâëÿþòñÿ íåêîððåêòíî ïîñòàâëåííûìè ïî Àäàìàðó, ò.ê. äîïóñêàþò, î÷åâèäíî,
íååäèíñòâåííîñòü ðåøåíèÿ.
   8 Íàïðèìåð, êîãäà p (x) = Qn p (x) â n-ìåðíîì ïðèçíàêîâîì ïðîñòðàíñòâå. Ñþäà æå, âïðî÷åì,
                               i=1 i
îòíîñèòñÿ è ñëó÷àé ïàðàìåòðè÷åñêîãî îöåíèâàíèÿ.
   9  êëàññè÷åñêîì ñëó÷àå íîðìàëüíûõ (ìíîãîìåðíûõ) óñëîâíûõ ðàñïðåäåëåíèé îáðàçîâ èç êàæäîãî
êëàññà îïòèìàëüíûé ðàçäåëèòåëü äâóõ êëàññîâ åñòü êâàäðèêà, êîòîðàÿ ïðè äîïîëíèòåëüíîì ðàâåíñòâå
êîâàðèöèîííûõ ìàòðèö ðàñïðåäåëåíèé ñòàíîâèòñÿ ëèíåéíîé ôîðìîé, íàçûâàþùåéñÿ (ëèíåéíîé)
äèñêðèìèíàíòíîé ôóíêöèåé Ôèøåðà. Íà ïðàêòèêå æå ÷àñòî ôóíêöèþ Ôèøåðà íàõîäÿò è èñïîëüçóþò
íå ïðîâåðÿÿ íè íîðìàëüíîñòè ðàñïðåäåëåíèé, íè ðàâåíñòâà êîâàðèöèîííûõ ìàòðèö, ïîëó÷àÿ ïðè ýòîì
âïîëíå ïðèåìëåìûå ðåçóëüòàòû.