ВУЗ:
Составители:
Рубрика:
78 МЕТОД НАИМЕНЬШИХ КВАДРАТОВ § 12.
наблюдения обычно называют обобщенной линейной регрессионной мо-
делью.
Т е о р е м а 12.4. Если матрица W
n
= H
n
⊤
H
n
и матрица ковариаций
V
n
ошибок наблюдений невырождены, то НЛН-оценка
b
Y
n
вектора Y
имеет вид (12.4), где
b
θ
n
=
H
n
⊤
V
n
−1
H
n
−1
H
n
⊤
V
n
−1
Z
n
. (12.7)
b
θ
n
является НЛН-оценкой для θ, а ковариационная матрица ее ошибки
∆
b
θ
n
=
b
θ
n
− θ
n
равна
b
K
n
=
H
n
⊤
V
n
−1
H
n
−1
. (12.8)
О п р е д е л е н и е 12.4. Оценка (12.7) называется оценкой обобщенного
метода наименьших квадратов (ОМНК-оценкой).
Заметим, что при дополнительном условии E
n
∼ N(0; V
n
) оценка
b
θ
n
, определенная в теореме 12.4, является МП-оценкой, эффект ивной по
Рао-Крамеру.
12.2. Примеры.
П р и м е р 12.1. Доказать теорему 12.1.
Р е ш е н и е. Найдем МП-оценку вектора θ. По условию закон распре-
деления наблюдения X
k
имеет плотность
p
k
(x; θ) =
1
√
2πσ
exp
−
(x −h
⊤
(t
k
)θ)
2
2σ
2
.
Поэтому функция правдоподобия выборки Z
n
принимает вид (см. опре-
деление 7.2)
L
n
(θ; Z
n
) =
n
Y
k=1
p
k
(X
k
; θ) = (2πσ
2
)
−
n
2
exp
(
−
1
2σ
2
n
X
k=1
(X
k
− h
⊤
(t
k
)θ)
2
)
.
Последнее выражение, используя матричные обозначения в (12.2), можно
представить следующим образом:
L
n
(θ; Z
n
) = (2πσ
2
)
−
n
2
exp
n
−
1
2σ
2
|Z
n
− H
n
θ|
2
o
. (12.9)
§ 12. МЕТОД НАИМЕНЬШИХ КВАДРАТОВ 79
Из (12.9) следует, что задача максимизации L
n
(θ; Z
n
) по θ эквивалентна
минимизации по θ функции L
n
(θ) = |Z
n
− H
n
θ|
2
. Таким образом, МП-
оценку
b
θ
n
можно определить из условия
b
θ
n
= arg min
θ
L
n
(θ).
Найдем явный вид оценки
b
θ
n
.
L
n
(θ) = |Z
n
− H
n
θ|
2
= Z
n
⊤
Z
n
− 2θ
⊤
H
n
⊤
Z
n
+ θ
⊤
H
n
⊤
H
n
θ.
Вычислим
∂L
n
(θ)
∂θ
, воспользовавшись следующими правилами матрично-
го д иффер енцирования:
∂(θ
⊤
A)
∂θ
= A;
∂(θ
⊤
Aθ)
∂θ
= 2Aθ, если A = A
⊤
.
Итак,
∂L
n
(θ)
∂θ
= −2H
n
⊤
Z
n
+ 2H
n
⊤
H
n
θ.
Необходимое условие экстремума функции L
n
(θ) дает нам следующие
соотношения:
∂L
n
(θ)
∂θ
= 0 =⇒ H
n
⊤
H
n
θ = H
n
⊤
Z
n
.
Так как матрица W
n
= H
n
⊤
H
n
> 0 по условию, полученная система
уравнений име ет единственное решение:
b
θ
n
= W
n
−1
H
n
⊤
Z
n
.
Заметим, что функция L
n
(θ) строго выпукла по θ, поэтому
b
θ
n
—
единственная точка минимума L
n
(θ), и, следовательно, единственная
МП-оценка вектора θ.
Так как Y = L θ, то МП-оценка для Y имеет вид
b
Y = L
b
θ
n
, что
непосредственно следует из принципа инвариантности для МП -оцен ок
(см. теорему 7.1).
П р и м е р 12.2. Пусть в модели наблюдения (12.2) вектор ошибок
E
n
имеет ковариационную матрицу K
E
n
= σ
2
I, где σ > 0. Показать,
что МНК-оценка
b
θ
n
является наилуч шей линейной несмещенной оценкой
вектора θ.
Р е ш е н и е. Пусть
e
θ
n
= A
n
Z
n
— произвольная линейная несмещенная
оценка θ. Тогда
M
n
e
θ
n
o
= A
n
M{Z
n
} = A
n
(H
n
θ + M{E
n
}) = A
n
H
n
θ = θ.
78 МЕТОД НАИМЕНЬШИХ КВАДРАТОВ § 12. § 12. МЕТОД НАИМЕНЬШИХ КВАДРАТОВ 79
наблюдения обычно называют обобщенной линейной регрессионной мо- Из (12.9) следует, что задача максимизации L n(θ; Z n) по θ эквивалентна
делью. минимизации по θ функции L n(θ) = |Z n − H nθ|2 . Таким образом, МП-
Т е о р е м а 12.4. Если матрица W n = H ⊤
n H n и матрица ковариаций оценку θbn можно определить из условия
V n ошибок наблюдений невырождены, то НЛН-оценка Yb n вектора Y
имеет вид (12.4), где θbn = arg min L n(θ).
θ
−1
θbn = H ⊤ −1
n V n Hn H⊤ −1
n V n Z n. (12.7)
Найдем явный вид оценки θbn.
θbn является НЛН-оценкой для θ, а ковариационная матрица ее ошибки
L n(θ) = |Z n − H nθ|2 = Z ⊤ ⊤ ⊤ ⊤ ⊤
n Z n − 2θ H n Z n + θ H n H nθ.
∆θbn = θbn − θ n равна
−1 ∂Ln (θ)
b = H ⊤ V −1 H Вычислим , воспользовавшись следующими правилами матрично-
K n n n n . (12.8) ∂θ
∂(θ⊤ A) ∂(θ⊤ Aθ)
го дифференцирования: = A; = 2Aθ, если A = A⊤ .
О п р е д е л е н и е 12.4. Оценка (12.7) называется оценкой обобщенного ∂θ ∂θ
∂Ln (θ)
метода наименьших квадратов (ОМНК-оценкой). Итак, = −2H n⊤ Z n + 2H n⊤ H nθ.
Заметим, что при дополнительном условии E n ∼ N (0; V n) оценка ∂θ
Необходимое условие экстремума функции L n(θ) дает нам следующие
θbn, определенная в теореме 12.4, является МП-оценкой, эффективной по соотношения:
Рао-Крамеру. ∂Ln (θ)
= 0 =⇒ H ⊤ ⊤
n H nθ = H n Z n.
∂θ
Так как матрица W n = H n⊤ H n > 0 по условию, полученная система
12.2. Примеры. уравнений имеет единственное решение:
П р и м е р 12.1. Доказать теорему 12.1.
Р е ш е н и е. Найдем МП-оценку вектора θ. По условию закон распре- θbn = W −1 ⊤
деления наблюдения X k имеет плотность n H n Z n.
Заметим, что функция L n(θ) строго выпукла по θ, поэтому θbn —
1 (x − h⊤ (tk )θ)2
p k(x; θ) = √ exp − 2
. единственная точка минимума L n(θ), и, следовательно, единственная
2πσ 2σ
МП-оценка вектора θ.
Поэтому функция правдоподобия выборки Z n принимает вид (см. опре- Так как Y = L θ, то МП-оценка для Y имеет вид Yb = L θbn, что
деление 7.2) непосредственно следует из принципа инвариантности для МП-оценок
(см. теорему 7.1).
( ) П р и м е р 12.2. Пусть в модели наблюдения (12.2) вектор ошибок
n
Y n
n 1 X E n имеет ковариационную матрицу K En = σ 2 I, где σ > 0. Показать,
L n(θ; Z n) = p k(X k; θ) = (2πσ 2 )− 2 exp − (X k − h⊤ (tk )θ)2 .
2σ 2
k=1 k=1 что МНК-оценка θbn является наилучшей линейной несмещенной оценкой
вектора θ.
Последнее выражение, используя матричные обозначения в (12.2), можно
Р е ш е н и е. Пусть θen = A nZ n — произвольная линейная несмещенная
представить следующим образом:
оценка θ. Тогда
n o
n 1 n o
L n(θ; Z n) = (2πσ 2 )− 2 exp − 2 |Z n − H nθ|2 . (12.9) M θen = A nM{Z n} = A n (H nθ + M{E n}) = A nH nθ = θ.
2σ
Страницы
- « первая
- ‹ предыдущая
- …
- 38
- 39
- 40
- 41
- 42
- …
- следующая ›
- последняя »
