Составители:
Рубрика:
53
положения на оси х нет. Но если мы сдвинем треугольник далеко
влево или вправо от элементов выборки, то вероятность получения
выборки, попавшей в промежуток
],[ ML , которому принадлежит
точка D, будет равна нулю, так как
[, ] [, ]
([,]) () 0 0
LM LM
P X L M p x dx dx
∈
==⋅=
∫∫
.
Поэтому точка D должна лежать в "гуще" выборки, т.е. таким
образом, чтобы значения ординат
),(
θ
i
xp были в совокупности
как можно больше. Тогда становится правдоподобным получение
именно выборки
n
xxx ...,,,
21
. Данный метод называется методом
максимального правдоподобия. Итак, параметр
θ
, согласно этому
методу, нужно выбирать так, чтобы вероятность получения набора
значений
n
xxx ...,,,
21
случайной величины Х при этом значении
θ
была наибольшей. Конечно, о вероятности получения данного
набора значений мы строго можем говорить лишь в том случае, ко-
гда рассматриваемая генеральная совокупность распределена дис-
кретно. Напомним, что для непрерывных случайных величин лю-
бые конкретные значения появляются с нулевой вероятностью.
Поэтому метод максимального правдоподобия имеет некоторые
различия в случае дискретных и
непрерывных генеральных сово-
купностей.
Дискретная генеральная совокупность. Пусть Х – дискрет-
ная генеральная совокупность, распределение которой зависит от
некоторого параметра
θ
, т.е.
)()(
θ
ji
pyXP == ,
где j = 1,..., m; y
1
,…, y
m
– все различные значения, которые может
принимать случайная величина X, а вероятности, с которыми эти
значения появляются, зависят от параметра
θ
. Предположим, что
n
xxx ...,,,
21
– выборка из генеральной совокупности X, причем
значение y
j
встречается в выборке n
j
раз, т.е. n
j
– частота значения
y
j
, и поэтому имеет место равенство
54
∑
=
=
m
j
j
nn
1
.
Учитывая независимость случайных величин
n
XX ...,,
1
, ве-
роятность получения выборки
n
xxx ...,,,
21
можно представить как
11 11
( ; ...; ) ( ) ( )
nn nn
PX x X x PX x PX x
=
== = =K .
Эта вероятность есть функция от
n
xxx ...,,,
21
, которая назы-
вается функцией максимального правдоподобия и обозначается
12 1 1
(, , , ,) ( )
n
Lx x x PX x
θ
=
=KK()
nn
PX x
=
.
Учитывая, что значение
i
y встречается в выборке n
j
раз, по-
лучаем
1
11
( ,..., , ) ( ) ... ( )
m
n
n
nm
Lx x p p
θ
θθ
= .
Как уже было сказано, суть метода максимального правдопо-
добия состоит в том, что в качестве параметра
θ
берется такое
значение, которое максимизирует функцию
1
( ,..., , )
n
Lx x
θ
. Полу-
ченное значение, если оно существует, является функцией
от
n
xxx ...,,,
21
, т.е.
)...,,,(
21
*
nМП
xxx
θθ
=
. Заменяя элементы
12
, ,...,
n
x
xxслучайными величинами
1
,...,
n
X
X , получаем оценку
максимального правдоподобия
*
12
( , ,..., )
М
П n
X
XX
θ
.
Точка максимума функции
1
( ,..., , )
n
Lx x
θ
удовлетворяет не-
линейному (в общем случае) уравнению
0
),,...,(
1
=
∂
∂
θ
θ
n
xxL
, (3.20)
и поэтому конкретное значение оценки
)...,,,(
21
*
nМП
xxx
θ
опре-
деляют как корень уравнения (3.20).
Функции
1
( ,..., , )
n
Lx x
θ
и
1
ln ( ,..., , )
n
Lx x
θ
достигают макси-
мума при одном и том же значении
θ
. Поэтому вместо отыскания
максимума функции
1
( ,..., , )
n
Lx x
θ
находят максимум функции
положения на оси х нет. Но если мы сдвинем треугольник далеко m
влево или вправо от элементов выборки, то вероятность получения ∑nj = n .
j =1
выборки, попавшей в промежуток [ L, M ] , которому принадлежит
точка D, будет равна нулю, так как Учитывая независимость случайных величин X 1 , ..., X n , ве-
роятность получения выборки x1 , x 2 , ..., x n можно представить как
P ( X ∈ [ L, M ]) = ∫ p( x)dx = ∫ 0 ⋅ dx = 0 .
[ L,M ] [ L,M ] P ( X 1 = x1 ; ...; X n = xn ) = P( X 1 = x1 ) K P( X n = xn ) .
Поэтому точка D должна лежать в "гуще" выборки, т.е. таким Эта вероятность есть функция от x1 , x 2 , ..., x n , которая назы-
образом, чтобы значения ординат p ( xi ,θ ) были в совокупности вается функцией максимального правдоподобия и обозначается
как можно больше. Тогда становится правдоподобным получение L(x1, x2 ,K, xn ,θ) = P( X1 = x1) K P(Xn = xn ) .
именно выборки x1 , x 2 , ..., x n . Данный метод называется методом Учитывая, что значение yi встречается в выборке nj раз, по-
максимального правдоподобия. Итак, параметр θ , согласно этому лучаем
методу, нужно выбирать так, чтобы вероятность получения набора
значений x1 , x 2 , ..., x n случайной величины Х при этом значении L( x1 ,..., xn ,θ ) = p1n1 (θ ) ... pmnm (θ ) .
θ была наибольшей. Конечно, о вероятности получения данного Как уже было сказано, суть метода максимального правдопо-
набора значений мы строго можем говорить лишь в том случае, ко- добия состоит в том, что в качестве параметра θ берется такое
гда рассматриваемая генеральная совокупность распределена дис- значение, которое максимизирует функцию L( x1 ,..., xn , θ ) . Полу-
кретно. Напомним, что для непрерывных случайных величин лю-
бые конкретные значения появляются с нулевой вероятностью. ченное значение, если оно существует, является функцией
*
Поэтому метод максимального правдоподобия имеет некоторые от x1 , x 2 , ..., x n , т.е. θ = θ МП ( x1 , x 2 , ..., x n ) . Заменяя элементы
различия в случае дискретных и непрерывных генеральных сово- x1 , x2 ,..., xn случайными величинами X 1 ,..., X n , получаем оценку
купностей.
максимального правдоподобия θ МП
*
( X 1 , X 2 ,..., X n ) .
Дискретная генеральная совокупность. Пусть Х – дискрет-
ная генеральная совокупность, распределение которой зависит от Точка максимума функции L( x1 ,..., xn , θ ) удовлетворяет не-
некоторого параметра θ , т.е. линейному (в общем случае) уравнению
P ( X = y i ) = p j (θ ) , ∂L( x1 ,..., x n ,θ )
= 0, (3.20)
где j = 1,..., m; y1,…, ym – все различные значения, которые может ∂θ
принимать случайная величина X, а вероятности, с которыми эти *
и поэтому конкретное значение оценки θ МП ( x1 , x 2 , ..., x n ) опре-
значения появляются, зависят от параметра θ . Предположим, что
x1 , x 2 , ..., x n – выборка из генеральной совокупности X, причем деляют как корень уравнения (3.20).
Функции L( x1 ,..., xn , θ ) и ln L( x1 ,..., xn , θ ) достигают макси-
значение yj встречается в выборке nj раз, т.е. nj – частота значения
yj, и поэтому имеет место равенство мума при одном и том же значении θ . Поэтому вместо отыскания
максимума функции L( x1 ,..., xn , θ ) находят максимум функции
53 54
Страницы
- « первая
- ‹ предыдущая
- …
- 24
- 25
- 26
- 27
- 28
- …
- следующая ›
- последняя »
