Математическая статистика с примерами в Excel. Воскобойников Ю.Е - 27 стр.

UptoLike

55
ln
1
( ,..., , )
n
Lx x
θ
. Эта функция получила название логарифмиче-
ской функции правдоподобия.
Построение оценки максимального правдоподобия можно
разбить на следующие этапы:
Этап 1. Определяют производную логарифмической функ-
ции правдоподобия по параметру
θ
.
Этап 2. Приравнивая производную к нулю, находят крити-
ческую точку
кр
θ
корень уравнения правдоподобия
0
),,...,(
1
=
θ
θ
n
xxL
.
Этап 3. Находят вторую производную
2
2
ln
θ
L
и ее значение
в точке
кр
θ
. Если вторая производная в точке
кр
θ
меньше нуля, то
в точке
кр
θ
функция
1
( ,..., , )
n
Lx x
θ
достигает максимума.
Найденная таким образом
*
МП
θ
является функцией случайных
величин
12
, ,...,
n
X
XX и, следовательно, сама является случайной
величиной. Конкретное значение оценки
*
МП
θ
получается при
подстановке в
)...,,(
1
*
nМП
XX
θ
вместо
12
, ,...,
n
X
XX значений
выборки
n
xxx ...,,,
21
.
Непрерывная генеральная совокупность. Рассмотрим слу-
чай, когда генеральная совокупность имеет непрерывный ряд рас-
пределения. Функцию максимального правдоподобия определим
по правилу
11
( , ..., , ) ( , ) ( , )
nn
Lx x px px
θ
θθ
= L ,
где
),(
θ
xp
плотность распределения генеральной совокупности.
Все остальное, изложенное для дискретного случая, переносится
на непрерывный.
Пример 3.1. Проводится п независимых опытов, в каждом
из которых событие А повторяется с неизвестной вероятностью р.
Рассмотрим генеральную совокупность Х количество появлений
56
события А в одном опыте. По выборке
n
xx ...,,
1
из генеральной со-
вокупности Х необходимо оценить параметр р.
Решение. Выборка
n
xx ...,,
1
состоит из нулей и единиц, при-
чем
1
=
i
x , если в i-м опыте событие А произошло, и 0=
i
x , если
событие не произошло. Предположим, что т частота появления
события А в п опытах. Тогда выборка
n
xx ...,,
1
содержит m еди-
ниц и
)( mn
нулей. Так как pXPpXP
=
=
=
=
1)0(,)1( , то
1
( , ..., , ) (1 )
mnm
n
Lx x p p
θ
=−
.
Найдем точку максимума логарифмической функции макси-
мального правдоподобия
1
ln ( ,..., , ) ln ( ) ln(1 )
n
Lx x m p n m p
θ
=
+− − .
Определим из уравнения
ln
0
L
p
=
критическую точку. Имеем
ln
1
Lmnm
p
pp
=−
.
Решая уравнение
0
1
=
p
mn
p
m
,
находим
n
m
кр
p =
. Убедимся, что при данном значении параметра
кр
p функция Lln достигает максимума. Для этого нужно прове-
рить, что
2
22 2
ln
0
(1 )
Lm nm
pp p
∂−
=
−<
∂−
.
Подставляя в это неравенство вместо
p
значение
кр
p , убеждаемся
в его справедливости. Значит,
n
m
кр
p = оценка максимального
правдоподобия, т.е.
n
m
*
МП
p = . Заметим, что полученная оценка
ln L( x1 ,..., xn , θ ) . Эта функция получила название логарифмиче-             события А в одном опыте. По выборке x1 , ..., x n из генеральной со-
ской функции правдоподобия.                                                      вокупности Х необходимо оценить параметр р.
     Построение оценки максимального правдоподобия можно                             Решение. Выборка x1 , ..., x n состоит из нулей и единиц, при-
разбить на следующие этапы:
     Э т а п 1 . Определяют производную логарифмической функ-                    чем xi = 1 , если в i-м опыте событие А произошло, и xi = 0 , если
ции правдоподобия по параметру θ .                                               событие не произошло. Предположим, что т – частота появления
     Э т а п 2. Приравнивая производную к нулю, находят крити-                   события А в п опытах. Тогда выборка x1 , ..., x n содержит m еди-
ческую точку θ кр – корень уравнения правдоподобия                               ниц и (n − m) нулей. Так как P ( X = 1) = p, P ( X = 0) = 1 − p , то
                           ∂L( x1 ,..., x n ,θ )                                                       L( x1 , ..., xn , θ ) = p m (1 − p) n − m .
                                                 = 0.
                                  ∂θ                                                 Найдем точку максимума логарифмической функции макси-
                                                         2                       мального правдоподобия
                                                        ∂ ln L
    Э т а п 3. Находят вторую производную                        и ее значение                ln L( x1 ,..., xn ,θ ) = m ln p + (n − m) ln(1 − p) .
                                                         ∂θ 2
                                                                                     Определим из уравнения
в точке θ кр . Если вторая производная в точке θ кр меньше нуля, то
                                                                                                                     ∂ ln L
в точке θ кр функция L( x1 ,..., xn , θ ) достигает максимума.
                                                                                                                            =0
                                                                                                                       ∂p
    Найденная таким образом θ МП     *
                                         является функцией случайных             критическую точку. Имеем
                                                                                                               ∂ ln L m n − m
величин X 1 , X 2 ,..., X n и, следовательно, сама является случайной                                                = −      .
                                        *
                                                                                                                 ∂p   p 1− p
величиной. Конкретное значение оценки θ МП получается при                            Решая уравнение
подстановке в     *
                θ МП ( X 1 , ...,   X n ) вместо X 1 , X 2 ,..., X n значений                                    m n−m
                                                                                                                  −     =0,
выборки x1 , x 2 , ..., x n .                                                                                    p 1− p
     Непрерывная генеральная совокупность. Рассмотрим слу-                       находим p кр = m
                                                                                                n
                                                                                                  . Убедимся, что при данном значении параметра
чай, когда генеральная совокупность имеет непрерывный ряд рас-
                                                                                  pкр функция ln L достигает максимума. Для этого нужно прове-
пределения. Функцию максимального правдоподобия определим
по правилу                                                                       рить, что
                      L( x1 , ..., xn ,θ ) = p( x1 ,θ )L p( xn , θ ) ,                                ∂ 2 ln L m     n−m
                                                                                                              = 2−          < 0.
где p( x,θ ) – плотность распределения генеральной совокупности.                                        ∂p     p (1 − p ) 2
                                                                                                            2

Все остальное, изложенное для дискретного случая, переносится                    Подставляя в это неравенство вместо p значение p кр , убеждаемся
на непрерывный.
    ♦ Пример 3.1. Проводится п независимых опытов, в каждом                      в его справедливости. Значит, p кр = mn – оценка максимального
из которых событие А повторяется с неизвестной вероятностью р.
Рассмотрим генеральную совокупность Х – количество появлений                     правдоподобия, т.е. p*МП = m
                                                                                                            n
                                                                                                              . Заметим, что полученная оценка –


                                       55                                                                              56