Оценка надежности классифицирующих алгоритмов. Гуров С.И. - 13 стр.

è èñòèííûì çíà÷åíèåì ïàðàìåòðà. Ïðåèìóùåñòâî êâàäðàòè÷íîé ôóíêöèè ïîòåðü ñîñòîèò
â òîì, ÷òî îíà ïîäàâëÿåò áîëüøèå îøèáêè. Ïîýòîìó â òåõ çàäà÷àõ, ãäå áîëüøèå îøèáêè
â îöåíèâàíèè ïàðàìåòðà êðàéíå íåæåëàòåëüíû (ê íèì îòíîñèòñÿ è íàøà çàäà÷à îöåíêè
êà÷åñòâà àëãîðèòìà êëàññèôèêàöèè ïðè ìàëîì ÷èñëå ïðåöåäåíòîâ), ñëåäóåò èñïîëüçîâàòü
êâàäðàòè÷íóþ ôóíêöèþ ïîòåðü. Ëåãêî ïîêàçàòü [40], [53], ÷òî ïðè êâàäðàòè÷íîé ôóíêöèè
ïîòåðü îïòèìàëüíàÿ áàéåñîâñêàÿ îöåíêà áóäåò ñîâïàäàòü ñ ìàòåìàòè÷åñêèì îæèäàíèåì
ïîëó÷åííîãî ðàñïðåäåëåíèÿ àïîñòåðèîðíûõ âåðîÿòíîñòåé.
    Óêàçàííûå ïîëîæåíèÿ, ïðèìåíÿåìûå äëÿ ïîëó÷åíèÿ îöåíîê è ñîñòàâëÿþò
ïðèíöèï Áàéåñà (ÏÁ) 14 . Ïðèíöèï Áàéåñà ÿâëÿåòñÿ îäíèì èç âàæíåéøèõ ìîìåíòîâ
â ìàòåìàòè÷åñêîé ñòàòèñòèêå. Îáñóæäåíèå âîïðîñîâ, ñâÿçàííûõ ñ ÏÁ ìîæíî íàéòè,
íàïðèìåð, â [24], [25], [29] è äð.
    Ìû âèäèì, ÷òî áàéåñîâñêèé ïîäõîä îñíîâàí íà ìàêñèìèçàöèè ñîâìåñòíûõ
ðàñïðåäåëåíèé ñîáûòèé A è {Bi }i∈I , è äëÿ åãî ïðèìåíåíèÿ íåîáõîäèìî çíàòü ðàñïðåäåëåíèå
àïðèîðíûõ âåðîÿòíîñòåé. Îäíàêî î÷åíü ÷àñòî àïðèîðíûå âåðîÿòíîñòè íåèçâåñòíû, è èõ
ïðèõîäèòñÿ îïðåäåëÿòü, èñõîäÿ èç äîïîëíèòåëüíîé èíôîðìàöèè, ñïåöèôè÷íîé äëÿ äàííîé
çàäà÷è.  ñëó÷àå æå, êîãäà òàêàÿ èíôîðìàöèÿ îòñóòñòâóåò, âûíóæäåííî ñ÷èòàþò, ÷òî
ñîáûòèÿ èç ãðóïïû B ðàâíîâåðîÿòíû. Ýòî äîïóùåíèå èçâåñòíî ïîä íàçâàíèåì ïðèíöèïà
íåîïðåäåë¼ííîñòè Ëàïëàñà 15 . Õîòÿ äàííûé ïðèíöèï ÿâëÿåòñÿ îäíèì èç íàèáîëåå ñïîðíûõ
ìîìåíòîâ â ñòàòèñòè÷åñêîé òåîðèè, íà ïðàêòèêå â ðàìêàõ áàéåñîâñêèé ïîäõîäà îí
ïðèìåíÿåòñÿ î÷åíü ÷àñòî. Çàìåòèì, ÷òî â ñîâðåìåííûõ ôîðìóëèðîâêàõ ýòîãî ïðèíöèïà
äîïóñêàåòñÿ è íå ðàâíîâåðîÿòíûé õàðàêòåð àïðèîðíîãî ðàñïðåäåëåíèÿ [24]. Ã. Äæåôôðèñ
[64] ðàçâèë óêàçàííûé ïîäõîä. Îí ïðåäëîæèë íåèíôîðìàòèâíîå àïðèîðíîå
                                                                  p        ðàñïðåäåëåíèå
äëÿ íåèçâåñòíîãî ïàðàìåòðà θ, ñ ïëîòíîñòüþ, ïðîïîðöèîíàëüíîé |I(θ)|, ãäå |I(θ)| åñòü
îïðåäåëèòåëü ò.í. èíôîðìàöèîííîé ìàòðèöû (ñì. [29], [61]).
    Åñòåñòâåííî, è ïðèíöèï íåîïðåäåë¼ííîñòè Ëàïëàñà, è ñàì ïðèíöèï Áàéåñà ìîãóò áûòü
îñïîðåíû. Â òî æå âðåìÿ ÿñíî: åñëè äàííûå ïðèíöèïû îòâåðãàþòñÿ, îíè äîëæíû áûòü
çàìåíåíû ÷åì-ëèáî äðóãèì.
     ÷àñòîòíîì ïîäõîäå ïðåäëàãàåòñÿ ñ÷èòàòü, ÷òî â äåéñòâèòåëüíîñòè èìååò
ìåñòî ñîáûòèå, èìåþùåå ìàêñèìàëüíîå ïðàâäîïîäîáèå. Äàííîå äîïóùåíèå íàçûâàåòñÿ
ïðèíöèïîì ìàêñèìàëüíîãî ïðàâäîïîäîáèÿ (ÌÏ). Òàêèì îáðàçîì, ïðèíöèï ÌÏ îñíîâàí
íà ìàêñèìèçàöèè íå àïîñòåðèîðíîé, à ëèøü óñëîâíîé âåðîÿòíîñòè íàáëþäàåìîãî
ñîáûòèÿ A ïðè óñëîâèÿõ ðåàëèçàöèè Bi , i ∈ I . ßñíî, ÷òî è ïðîòèâ ïðèíöèïà ÌÏ
ìîãóò áûòü âûñêàçàíû âîçðàæåíèÿ. Ñ äðóãîé ñòîðîíû, â ñëó÷àå ïðèíÿòèÿ ïðèíöèïà
íåîïðåäåë¼ííîñòè Ëàïëàñà è îöåíêè ïî ìàêñèìóìó àïîñòåðèîðíîé âåðîÿòíîñòè (ïðè
ñòðîãîé ïîëîæèòåëüíîñòè àïîñòåðèîðíûõ âåðîÿòíîñòåé, ÷åãî âñåãäà ìîæíî äîáèòüñÿ),
ðåçóëüòàòû îáîèõ ïîäõîäîâ, î÷åâèäíî, ñîâïàäóò è ìåòîäû íà îñíîâå ÌÏ ìîãóò ñ÷èòàòüñÿ
÷àñòíûìè ñëó÷àÿìè áàéåñîâñêîãî ïîäõîäà16 .
    ×àñòîòíûé ïîäõîä íå îãðàíè÷èâàåòñÿ, åñòåñòâåííî, òîëüêî ïðèíöèïîì ÌÏ è ìåòîäàìè,
íà í¼ì îñíîâàííûìè. Ïðîñòî ýòîò ïîäõîä, â îòëè÷èè îò áàéåñîâñêîãî, ïðîñòî íå ñâÿçàí
íè ñ êàêèìè àïðèîðíûìè ïðåäïîëîæåíèÿìè î òîì èëè èíîì ðàñïðåäåëåíèè êàêèõ-ëèáî
âåëè÷èí. Ïîíÿòíî, ÷òî ýòî åñòü è ñèëüíàÿ, è ñëàáàÿ åãî ñòîðîíà.
    Â öåëîì, ïðåîáëàäàíèå ïîëîæèòåëüíûõ èëè îòðèöàòåëüíûõ ñòîðîí ëþáîãî ïîäõîäà,
êàê ÷àñòîòíîãî, òàê è áàéåñîâñêîãî, çàâèñèò îò êîíêðåòíîãî èõ ïðèìåíåíèÿ ê êîíêðåòíîé
çàäà÷å.
 14 Ýòî  îïðåäåëåíèå îòëè÷àåòñÿ îò ïðèâåäåííîãî â èçâåñòíîé ìîíîãðàôèè [24].
 15 à òàêæå ïîñòóëàòà Áàéåñà èëè ïðèíöèïà ðàâíîâåðîÿòíîñòè.
 16 ñì. [24], ñòð. 283.