Компьютерные решения задач многомерной статистики. Часть 1. Кластерный и дискриминантный анализ. Давнис В.В - 20 стр.

UptoLike

Рубрика: 

Покажем , что это, действительно, так. Прежде всего заметим, что в си-
лу равенства потерь нулю при
j
i
=
, т.е.
(
)
0=iiс можно записать
()() ()
∑∑
====
==
m
ij
j
m
i
i
m
j
m
i
i
ijPijPijcC
1111
ππ . (3.7)
Далее, учитывая что
()
1)(
1
=+
=
iiPijP
m
ij
j
и 1
1
=
=
m
i
i
π ,
из (3.7) получаем
()() ()
∑∑
==
=−=
m
i
i
m
i
i
iiPiiPС
11
11 ππ
. (3.8)
Таким образом , задача минимизации потерь от неправильной класси-
фикации сводится к задаче максимизации вероятности правильной класси-
фикации
()
=
=
m
i
i
iiPP
1
π
. (3.9)
Если в качестве критерия использовать вероятность правильной клас-
сификации объектов (3.8), то задачу построения оптимальной процедуры
классификации многомерных наблюдений можно сформулировать сле-
дующим образом . Заданы
p
- мерные наблюдения
n
xxx ,,,
21
K ,
представляющие собой выборку из генеральной совокупности, описывае-
мой так называемой смесью
m
классов (одномодальных генеральных сово-
купностей) с плотностью вероятности
()()
=
=
m
j
jj
ff
1
xx π , (3.10)
где
j
π
априорная вероятность появления в этой выборке элемента из
класса (генеральной совокупности)
j
с плотностью
(
)
x
j
f . Другими слова-
ми,
j
π
это удельный вес элементов
j
- го класса в общей генеральной
совокупности.
По-прежнему считая, что потери
(
)
ijс от неправильной классифика -
ции одинаковы для любой пары
i
,
j
, можно задачу классификации, т.е.
отнесение наблюдения (объекта) неизвестной принадлежности
ν
x к классу
с номером
j , записать как
(
)
(
)
νν
π
π
xx
jj
mj
jj
ff
≤≤
=
∗∗
1
max . (3.11)
Полученное правило классификации (3.11) не может быть использова-
но на практике, так как неизвестны априорные вероятности
m
π
π
π
,,,
21
K
и
      П ока ж ем , что это, д ейст вител ь н о, т а к. П реж д е всего за м ет им , что в си-
л у ра вен ства пот ерь н у л ю при i = j , т .е. с(i i ) = 0 м ож н о за писа т ь

                       C = ∑ π i ∑ c ( j i ) P ( j i ) = ∑ π i ∑ P ( j i ).
                             m       m                                  m             m
                                                                                              (3.7)
                            i =1     j =1                               i =1          j =1
                                                                                      j ≠i
Д а л ее, у чит ыва я что

                            ∑ P( j i ) + P(i i ) = 1
                             m                                                 m
                                                                    и          ∑ π i = 1,
                             j =1                                              i =1
                             j ≠i
из (3.7) пол у ча ем
                            С = ∑ π i (1 − P (i i )) = 1 −∑ π i P (i i ).
                                     m                                           m
                                                                                              (3.8)
                                    i =1                                        i =1
     Т а ким обра зом , за д а ча м ин им иза ции пот ерь от н епра вил ь н ой кл а сси-
ф ика ции свод ит ся к за д а че м а ксим иза ции вероят н ост и пра вил ь н ой кл а сси-
ф ика ции
                                           P = ∑ π i P(i i ).
                                                m
                                                                                              (3.9)
                                                i =1
      Е сл и в ка чест ве крит ерия испол ь зова т ь вероят н ост ь пра вил ь н ой кл а с-
сиф ика ции объект ов (3.8), то за д а чу пост роен ия опт им а л ь н ой процед у ры
кл а ссиф ика ции м н огом ерн ых н а бл юд ен ий м ож н о сф орм у л ирова т ь сл е-
д у ющ им обра зом . З а д а н ы p -м ерн ые н а бл юд ен ия
                                        x1 , x 2 , K , x n ,
пред ст а вл яющ ие собой выборку из ген ера л ь н ой совоку пн ост и, описыва е-
м ой т а к н а зыва ем ой см есь ю m кл а ссов (од н ом од а л ь н ых ген ера л ь н ых сово-
ку пн ост ей) с пл от н ость ю вероят н ост и
                                                       m
                                            f (x ) = ∑ π j f j (x ) ,                        (3.10)
                                                       j =1

гд е π j – а приорн а я вероят н ост ь появл ен ия в эт ой выборке эл ем ен т а из
кл а сса (ген ера л ь н ой совоку пн ост и) j с пл от н ость ю f j (x ) . Д ру гим и сл ова -
м и, π j – это у д ел ь н ый вес эл ем ен т ов j -го кл а сса в общ ей ген ера л ь н ой
совоку пн ост и.
      П о-преж н ем у счит а я, чт о пот ери с( j i ) от н епра вил ь н ой кл а ссиф ика -
ции од ин а ковы д л я л юбой па ры i , j , м ож н о за д а чу кл а ссиф ика ции, т .е.
от н есен ие н а бл юд ен ия (объект а ) н еизвест н ой прин а д л еж н ост и xν к кл а ссу
с н ом ером j ∗ , за писа т ь ка к
                                    π j ∗ f j∗ (xν ) = max π j f j (xν ) .                   (3.11)
                                                              1≤ j ≤m
      П ол у чен н ое пра вил о кл а ссиф ика ции (3.11) н е м ож ет быт ь испол ь зова -
н о н а пра кт ике, т а к ка к н еизвест н ы а приорн ые вероят н ост и π 1 , π 2 , K , π m и