ВУЗ:
Составители:
Рубрика:
40 МЕТОДЫ ПОСТРОЕНИЯ ТОЧЕЧНЫХ ОЦЕНОК ПАРАМЕТРОВ § 7.
3) Составить систему из m уравнений для переменных {θ
1
, . . . , θ
m
}
⊤
,
приравнивая соответствующие теоретические (7.1) и выборочные (7.2)
моменты:
ν
r
(θ) =
ν
r
(n), r = 1, . . . , m. (7.3)
4) Найти решение
b
θ
n
системы уравнений (7.3).
О п р е д е л е н и е 7.1. Решение
b
θ
n
системы уравнений (7.3) называется
оценкой метода моментов вектора параметров θ закона распределения
F
X
(x; θ), которому соответствует выборка.
Заметим, что при составлении системы уравнений (7.3) можно исполь-
зовать не только начальные моменты, но также и центральные моменты
µ
r
(θ) и
µ
r
(n), если это удобно.
Основным достоинством метода моментов является простота его
практической реализации.
Важнейшим методом построения точечных оценок вектора θ является
метод максимального правдоподобия (ММП). Предположим, что θ ∈
∈ Θ, где Θ — множество допустимых значений вектора θ. Если СВ X,
порождающая выборку, является дискретной, то пусть
p(x; θ) = P(X = x; θ), x ∈ X, (7.4)
где X — множество всех возможных значений СВ X, а P(X = x; θ) —
закон распределения дискретной СВ X.
Если же СВ X абсолютно непрерывна, то
p(x; θ) =
dF (x; θ)
dx
, (7.5)
т.е. является плотностью вероятности СВ X.
О п р е д е л е н и е 7.2. Функцией правдоподобия выборки Z
n
называет-
ся функция L
n
(θ; Z
n
), θ ∈ Θ вида
L
n
(θ; Z
n
) =
n
Y
k=1
p (X
k
; θ). (7.6)
Заметим, что для случая (7.5) функция L
n
(θ; x) является плотно-
стью вероятности случайного вектора Z
n
в точке x ∈ R
n
.
О п р е д е л е н и е 7.3. Пусть
b
θ
n
— точка глобального максимума функ-
ции L
n
(θ; Z
n
) на Θ. Статистика
b
θ
n
называется оценкой максимального
правдоподобия вектора θ (МП-оценкой).
§ 7. МЕТОДЫ ПОСТРОЕНИЯ ТОЧЕЧНЫХ ОЦЕНОК ПАРАМЕТРОВ 41
Итак,
b
θ
n
= arg max
θ∈Θ
L
n
(θ; Z
n
) — МП-оценка.
Обычно в расчетах используют логарифмическую функцию правдопо-
добия
L
n
(θ) = ln L
n
(θ; Z
n
) =
n
X
k=1
ln p (X
k
; θ). (7.7)
Очевидно, что arg max
θ∈Θ
L
n
(θ; Z
n
) = arg max
θ∈Θ
L
n
(θ).
Для построения МП-оценки
b
θ
n
можно использовать необходимые
условия экстремума функци и
L
n
(θ):
∂
L
n
(θ)
∂θ
k
= 0, k = 1, . . . , m. (7.8)
Система уравнений (7.8), решением которой при определенных усло-
виях является оценка
b
θ
n
, называется системой уравнений правдоподобия.
Следующее утверждение называется принципом инвариантности
для оценивания по методу максимального правдоподобия.
Т е о р е м а 7.1. Пусть выборка Z
n
соответствует распределению
F (x; θ), θ ∈ Θ, а функция g(θ) отображает Θ в некоторый промежуток
∆ действительной оси. Тогда если
b
θ
n
— МП-оценка вектора θ, то
g(
b
θ
n
) — МП-оценка функции g(θ).
При определенных условиях МП-оценка параметра θ обладает за-
мечательными асимптотическими свойствами. Предположим, что θ
0
—
истинное значение скалярного параметра θ, Θ — замкнутое ограниченное
подмножество R
1
, а θ
0
лежит внутри Θ. Пусть также выборка Z
n
=
= {X
k
, k = 1, . . . , n} соответствует распределению с плотностью вероят-
ности p(x; θ).
Т е о р е м а 7.2. Пусть выполнены следующие условия.
1) При каждом θ ∈ Θ
∂
(k)
p(x; θ)
∂θ
(k)
6 g
k
(x), k = 1, 2, 3, причем g
1
(x) и
g
2
(x) интегрируемы на R
1
, а sup
θ∈Θ
∞
Z
−∞
g
3
(x)p(x; θ)dx < ∞.
2) При каждом θ ∈ Θ функция
i(θ) =
∞
Z
−∞
∂ ln p(x; θ)
∂θ
2
p(x; θ)dx
конечна и положительна.
40 МЕТОДЫ ПОСТРОЕНИЯ ТОЧЕЧНЫХ ОЦЕНОК ПАРАМЕТРОВ § 7. § 7. МЕТОДЫ ПОСТРОЕНИЯ ТОЧЕЧНЫХ ОЦЕНОК ПАРАМЕТРОВ 41
3) Составить систему из m уравнений для переменных {θ 1, . . . , θ m}⊤ , Итак, θbn = arg max L n(θ; Z n) — МП-оценка.
θ∈Θ
приравнивая соответствующие теоретические (7.1) и выборочные (7.2)
Обычно в расчетах используют логарифмическую функцию правдопо-
моменты:
добия
ν r(θ) = ν r(n), r = 1, . . . , m. (7.3) n
X
L n(θ) = ln L n(θ; Z n) = ln p (X k; θ). (7.7)
k=1
4) Найти решение θbn системы уравнений (7.3).
О п р е д е л е н и е 7.1. Решение θbn системы уравнений (7.3) называется Очевидно, что arg max L n(θ; Z n) = arg max L n(θ).
θ∈Θ θ∈Θ
оценкой метода моментов вектора параметров θ закона распределения
F X (x; θ), которому соответствует выборка. Для построения МП-оценки θbn можно использовать необходимые
Заметим, что при составлении системы уравнений (7.3) можно исполь- условия экстремума функции L n(θ):
зовать не только начальные моменты, но также и центральные моменты
∂L n(θ)
µ r(θ) и µ r(n), если это удобно. = 0, k = 1, . . . , m. (7.8)
Основным достоинством метода моментов является простота его ∂θ k
практической реализации. Система уравнений (7.8), решением которой при определенных усло-
Важнейшим методом построения точечных оценок вектора θ является
метод максимального правдоподобия (ММП). Предположим, что θ ∈ виях является оценка θbn, называется системой уравнений правдоподобия.
∈ Θ, где Θ — множество допустимых значений вектора θ. Если СВ X, Следующее утверждение называется принципом инвариантности
порождающая выборку, является дискретной, то пусть для оценивания по методу максимального правдоподобия.
Т е о р е м а 7.1. Пусть выборка Z n соответствует распределению
p(x; θ) = P(X = x; θ), x ∈ X, (7.4) F (x; θ), θ ∈ Θ, а функция g(θ) отображает Θ в некоторый промежуток
∆ действительной оси. Тогда если θbn — МП-оценка вектора θ, то
где X — множество всех возможных значений СВ X, а P(X = x; θ) — g(θbn) — МП-оценка функции g(θ).
закон распределения дискретной СВ X. При определенных условиях МП-оценка параметра θ обладает за-
Если же СВ X абсолютно непрерывна, то мечательными асимптотическими свойствами. Предположим, что θ 0 —
истинное значение скалярного параметра θ, Θ — замкнутое ограниченное
dF (x; θ) подмножество R1 , а θ 0 лежит внутри Θ. Пусть также выборка Z n =
p(x; θ) = , (7.5)
dx = {X k, k = 1, . . . , n} соответствует распределению с плотностью вероят-
т.е. является плотностью вероятности СВ X. ности p(x; θ).
О п р е д е л е н и е 7.2. Функцией правдоподобия выборки Z n называет- Т е о р е м а 7.2. Пусть выполнены следующие условия.
ся функция L n(θ; Z n), θ ∈ Θ вида ∂ (k) p(x; θ)
1) При каждом θ ∈ Θ 6 g k(x), k = 1, 2, 3, причем g 1(x) и
∂θ(k)
n
Y Z
∞
L n(θ; Z n) = p (X k; θ). (7.6) g 2(x) интегрируемы на R1 , а sup g 3(x)p(x; θ)dx < ∞.
k=1 θ∈Θ
−∞
2) При каждом θ ∈ Θ функция
Заметим, что для случая (7.5) функция L n(θ; x) является плотно-
стью вероятности случайного вектора Z n в точке x ∈ Rn . Z
∞ 2
∂ ln p(x; θ)
О п р е д е л е н и е 7.3. Пусть θbn — точка глобального максимума функ- i(θ) = p(x; θ)dx
∂θ
ции L n(θ; Z n) на Θ. Статистика θbn называется оценкой максимального −∞
правдоподобия вектора θ (МП-оценкой). конечна и положительна.
Страницы
- « первая
- ‹ предыдущая
- …
- 19
- 20
- 21
- 22
- 23
- …
- следующая ›
- последняя »
