Лекции по теории статистических выводов. Володин И.Н. - 30 стр.

UptoLike

ВУЗ: 

КФУ | Казань

Составители: 

Рубрика: 

§3
∗
X,
P =
{P ( ·|θ ), θ ∈ Θ}.
P
µ,
Θ
2
,
I (θ, ϑ |X) =
Z
X
p (x |θ) ln
p (x |θ)
p (x |ϑ)
dµ(x), θ, ϑ ∈ Θ.
{x : p (x |θ) = 0}
[
{x : p (x |θ) = p (x |ϑ)},
µ
{x : p (x |θ) 6= 0, p (x |ϑ) = 0}
Θ
Θ ⊆ R
m
, θ = (θ
1
, . . . , θ
m
), p(x |θ)
θ x ∈ X µ.
i (θ |X),
i
ij
( θ |X ) =
Z
X
∂ ln p (x |θ)
∂θ
i
·
∂ ln p (x |θ)
∂θ
j
p (x |θ) dµ(x), i, j = 1, . . . , m.
i
ij
(θ |X) = −
Z
X
∂
2
ln p (x |θ)
∂θ
i
∂θ
j
p (x |θ) dµ(x), i, j = 1, . . . , m.
          §3∗ .         Ìåðû èíôîðìàöèè, èõ ñâîéñòâà

                               è íèæíèå ãðàíèöû

             äëÿ ñðåäíåãî îáúåìà íàáëþäåíèé

  3.1.     Ìåðû èíôîðìàöèè.                    ìàòåìàòè÷åñêîé ñòàòèñòèêå êîëè÷åñòâî
èíôîðìàöèè, ñîäåðæàùåéñÿ â íàáëþäåíèè ñëó÷àéíîé âûáîðêè X, îáû÷-
íî èçìåðÿåòñÿ ôóíêöèîíàëàìè îò êîìïîíåíò ñòàòèñòè÷åñêîé ìîäåëè P =
{P ( ·| θ ), θ ∈ Θ}. Ìû ðàññìîòðèì äâå ìåðû èíôîðìàöèè ïîäîáíîãî òèïà.
Ïðåäïîëàãàÿ, ÷òî P äîìèíèðîâàíà ïîëîæèòåëüíîé ñèãìà-êîíå÷íîé ìåðîé
µ, îïðåäåëèì ðàçëè÷àþùóþ èíôîðìàöèþ èëè èíôîðìàöèþ ïî Êóëüáàêó
Ëåéáëåðó êàê ôóíêöèþ íà Θ2 , ðàâíóþ
                                         p (x | θ)
                         Z
          I (θ, ϑ | X) =    p (x | θ) ln           dµ(x),              θ, ϑ ∈ Θ.
                          X              p (x | ϑ)
Èíòåãðàë ïîëàãàåòñÿ ðàâíûì íóëþ íà ìíîæåñòâå
                                              [
                        {x : p (x | θ) = 0}       {x : p (x | θ) = p (x | ϑ)},

è èíôîðìàöèÿ ïîëàãàåòñÿ ðàâíîé áåñêîíå÷íîñòè, åñëè ìåðà µ ìíîæåñòâà
{x : p (x | θ) 6= 0, p (x | ϑ) = 0} îòëè÷íà îò íóëÿ. ×òîáû èçáåæàòü â äàëüíåé-
øåì îòäåëüíîãî ðàññìîòðåíèÿ òàêèõ òðèâèàëüíûõ ñèòóàöèé, êàñàþùèõñÿ
èçìåðåíèÿ èíôîðìàöèè, ïðåäïîëîæèì, ÷òî íîñèòåëè âñåõ ðàñïðåäåëåíèé
ñòàòèñòè÷åñêîé ìîäåëè îäèíàêîâû.
  Äðóãîé òèï èíôîðìàöèè, íàèáîëåå ÷àñòî èñïîëüçóåìîé â ìàòåìàòè÷å-
ñêîé ñòàòèñòèêå, íàçûâàåòñÿ èíôîðìàöèåé ïî Ôèøåðó èëè òî÷å÷íîé èí-
ôîðìàöèåé. Ïðåäïîëàãàåòñÿ, ÷òî ïàðàìåòðè÷åñêîå ïðîñòðàíñòâî Θ ýâêëè-
äîâî: Θ ⊆ Rm , θ = (θ1 , . . . , θm ), è ïëîòíîñòü p(x | θ) äèôôåðåíöèðóåìà
ïî ïàðàìåòðó θ äëÿ ïî÷òè âñåõ x ∈ X ïî ìåðå µ. Òî÷å÷íàÿ èíôîðìàöèÿ
îïðåäåëÿåòñÿ ìàòðèöåé i (θ | X), ñ ýëåìåíòàìè
                      ∂ ln p (x | θ) ∂ ln p (x | θ)
                    Z
 i ij ( θ | X ) =                   ·               p (x | θ) dµ(x),        i, j = 1, . . . , m.
                    X      ∂θi            ∂θj
Ïðè ñóùåñòâîâàíèè âòîðîé ïðîèçâîäíîé ó ïëîòíîñòè
                            ∂ 2 ln p (x | θ)
                              Z
         i ij (θ | X) = −                    p (x | θ) dµ(x),         i, j = 1, . . . , m.
                          X     ∂θi ∂θj


                                                  30

Страницы