ВУЗ:
Составители:
Рубрика:
76 МЕТОД НАИМЕНЬШИХ КВАДРАТОВ § 12.
Введем обозначения: H
n
— матрица размера (n×p), k-й строкой кото-
рой является h
⊤
(t
k
); E
n
= {ε
1
, . . . , ε
n
}
⊤
. Тогда (12.1) можно представит
в виде
Z
n
= H
n
θ + E
n
. (12.2)
О п р е д е л е н и е 12.1. Модель (12.2), удовлетворяющая всем сделан-
ным выше предположениям, называется линейной гауссовской регресси-
онной моделью порядка p.
Уравнения (12.1) и (12.2) можно трактовать как математическую
модель процесса наблюдения “полезного сигнала” ϕ(t; θ) = h
⊤
(t)θ в дис-
кретные моменты времени {t
k
} со случайными аддитивными ошибками
наблюдения {ε
k
, k = 1, . . . , n}.
Рассмотрим задачу оценивания по выборке Z
n
вектора Y = L θ, где
L — заданная неслучайная матрица размера (q × p). Для построения
оценки
b
Y
n
вектора Y воспользуемся методом максимального правдопо-
добия. По предположению вектор наблюдений Z
n
в модели (12.2) имеет
гауссовское распределение:
Z
n
∼ N(H
n
θ; σ
2
I). (12.3)
Т е о р е м а 12.1. Пусть матрица W
n
= H
n
⊤
H
n
— невырожденная.
Тогда МП-оценка
b
Y
n
вектора Y по выборке Z
n
имеет вид
b
Y
n
= L
b
θ
n
, (12.4)
где
b
θ
n
— оценка вектора θ вида
b
θ
n
= W
n
−1
H
n
⊤
Z
n
. (12.5)
Из доказательства теоремы 12.1 (см. пример 12.1) следует, что
b
θ
n
есть
точка минимума квадратичной функции потерь:
b
θ
n
= arg min
θ
|Z
n
− H
n
θ|
2
. (12.6)
О п р е д е л е н и е 12.2. Оценка
b
θ
n
вектора, определяемая из усло-
вия (12.6) и имеющая вид (12.5), называется оценкой метода наимень-
ших квадратов (МНК-оценкой) вектора θ в модели линейной регрес-
сии (12.2).
§ 12. МЕТОД НАИМЕНЬШИХ КВАДРАТОВ 77
Статистические свойства ошибки ∆
b
Y
n
=
b
Y
n
− Y оценки
b
Y
n
вектора
Y приведены в следующей теореме.
Т е о р е м а 12.2. Оценка
b
Y
n
и ее ошибка ∆
b
Y
n
обладают следующими
свойствами:
1) M
n
b
Y
n
o
= Y , M
n
∆
b
Y
n
o
= 0 — несмещенность;
2)
b
Y
n
∼ N
Y ;
b
K
Y
n
, ∆
b
Y
n
∼ N
0;
b
K
Y
n
, где
b
K
Y
n
=
= cov{∆
b
Y
n
, ∆
b
Y
n
} = σ
2
LW
n
−1
L
⊤
— ковариационная матрица ошибки
∆
b
Y
n
оценки
b
Y
n
;
3) оценка
b
Y
n
эффективна по Рао-Крамеру.
Так как при L = I оценка
b
Y
n
превращается в
b
θ
n
, то справедливо
следующее утверждение.
С л е д с т в и е 12.1. Оценка
b
θ
n
вида (12.5) имеет распределение
N
θ;
b
K
n
, где
b
K
n
= σ
2
W
n
−1
— ковариационная матрица ее ошибки
∆
b
θ
n
=
b
θ
n
− θ. МНК-оценка
b
θ
n
— несмещенная и эффективная по Рао-
Крамеру.
С л е д с т в и е 12.2. СВ ξ =
1
σ
2
|Z
n
−H
n
b
θ
n
|
2
имеет хи-квадрат распре-
деление с r = n −p степенями свободы: ξ ∼ H
n−p
.
Если отказаться от предположения о том, что вектор ошибок E
n
—
гауссовский, то
b
Y
n
теряет свойство эффективности, но остается наилуч-
шей (по с.к.-критерию) среди всех линейных несмещенных оценок.
О п р е д е л е н и е 12.3. Оценка
e
Y
n
вектора Y по наблюдениям Z
n
называется линейной несмещенной оценкой, если она имеет вид
e
Y
n
=
= A
n
Z
n
, где A
n
— неслучайная матрица размера (q × n), причем
M
n
e
Y
n
o
= Y .
Т е о р е м а 12.3 (Гаусс-Марков). Пусть
b
K
Y
n
— ковариационна ма-
трица ошибки оценки
b
Y
n
вида (12.4), (12.5), а
e
K
Y
n
— ковариационная
матрица произвольной линейной несмещенной оценки
e
Y
n
вектора Y .
Тогда
b
K
Y
n
6
e
K
Y
n
.
Таким образом, оценка
b
Y
n
является наилучшей линейной несме-
щенной оценкой вектора Y в модели линейной регрессии (12.2) (НЛН-
оценкой).
Пусть теперь вектор ошибок наблюдений E
n
в модели (12.2) имеет
нулевое с реднее M{E
n
} = 0 и произвольную невырожденную ковари-
ационную матрицу cov (E
n
, E
n
) = V
n
> 0. Соответствующую модель
76 МЕТОД НАИМЕНЬШИХ КВАДРАТОВ § 12. § 12. МЕТОД НАИМЕНЬШИХ КВАДРАТОВ 77
Введем обозначения: H n — матрица размера (n×p), k-й строкой кото- Статистические свойства ошибки ∆Yb n = Yb n − Y оценки Yb n вектора
рой является h⊤ (t k); E n = {ε 1, . . . , ε n}⊤ . Тогда (12.1) можно представит Y приведены в следующей теореме.
в виде Т е о р е м а 12.2. Оценка Yb n и ее ошибка ∆Yb n обладают следующими
свойствами:
n o n o
Z n = H nθ + E n. (12.2) 1) M Yb n = Y , M ∆Yb n = 0 — несмещенность;
О п р е д е л е н и е 12.1. Модель (12.2), удовлетворяющая всем сделан- 2) Yb n ∼ N Y ; K b
Yn , ∆ Yb
n ∼ N 0; b
K b
Yn , где K Yn =
ным выше предположениям, называется линейной гауссовской регресси-
= cov{∆Yb n, ∆Yb n} = σ 2 LW −1 n L
⊤
— ковариационная матрица ошибки
онной моделью порядка p.
b
∆Y n оценки Y n;b
Уравнения (12.1) и (12.2) можно трактовать как математическую
модель процесса наблюдения “полезного сигнала” ϕ(t; θ) = h⊤ (t)θ в дис- 3) оценка Yb n эффективна по Рао-Крамеру.
кретные моменты времени {t k} со случайными аддитивными ошибками Так как при L = I оценка Yb n превращается в θbn, то справедливо
наблюдения {ε k, k = 1, . . . , n}. следующее утверждение.
Рассмотрим задачу оценивания по выборке Z n вектора Y = L θ, где b
L — заданная неслучайная матрица размера (q × p). Для построения С л е дс т в и е 12.1. Оценка θ n вида (12.5) имеет распределение
N θ; K b , где K b = σ 2 W −1 — ковариационная матрица ее ошибки
оценки Yb n вектора Y воспользуемся методом максимального правдопо- n n n
добия. По предположению вектор наблюдений Z n в модели (12.2) имеет ∆θbn = θbn − θ. МНК-оценка θbn — несмещенная и эффективная по Рао-
гауссовское распределение: Крамеру.
1
Z n ∼ N (H nθ; σ 2 I). (12.3) С л е д с т в и е 12.2. СВ ξ = |Z −H θb |2 имеет хи-квадрат распре-
n n n
σ2
деление с r = n − p степенями свободы: ξ ∼ H n−p.
Т е о р е м а 12.1. Пусть матрица W n = H n⊤ H n — невырожденная. Если отказаться от предположения о том, что вектор ошибок E n —
Тогда МП-оценка Yb n вектора Y по выборке Z n имеет вид гауссовский, то Yb n теряет свойство эффективности, но остается наилуч-
шей (по с.к.-критерию) среди всех линейных несмещенных оценок.
Yb n = L θbn, (12.4) О п р е д е л е н и е 12.3. Оценка Ye n вектора Y по наблюдениям Z n
называется линейной несмещенной оценкой, если она имеет вид Ye n =
где θbn — оценка вектора θ вида = nA nZon, где A n — неслучайная матрица размера (q × n), причем
M Ye n=Y.
θbn = W −1 ⊤
n H n Z n. (12.5)
b
Т е о р е м а 12.3 (Гаусс-Марков). Пусть K Yn — ковариационна ма-
Из доказательства теоремы 12.1 (см. пример 12.1) следует, что θbn есть b
трица ошибки оценки Y n вида (12.4), (12.5), а Ke
Yn — ковариационная
точка минимума квадратичной функции потерь: матрица произвольной линейной несмещенной оценки Ye n вектора Y .
Тогда Kb 6K e .
Yn Yn
θbn = arg min |Z n − H nθ|2 . (12.6)
θ Таким образом, оценка Yb n является наилучшей линейной несме-
щенной оценкой вектора Y в модели линейной регрессии (12.2) (НЛН-
О п р е д е л е н и е 12.2. Оценка θbn вектора, определяемая из усло- оценкой).
вия (12.6) и имеющая вид (12.5), называется оценкой метода наимень- Пусть теперь вектор ошибок наблюдений E n в модели (12.2) имеет
ших квадратов (МНК-оценкой) вектора θ в модели линейной регрес- нулевое среднее M{En } = 0 и произвольную невырожденную ковари-
сии (12.2). ационную матрицу cov (E n, E n) = V n > 0. Соответствующую модель
Страницы
- « первая
- ‹ предыдущая
- …
- 37
- 38
- 39
- 40
- 41
- …
- следующая ›
- последняя »
