Составители:
Рубрика:
91
6. ОБОБЩЕННАЯ ЛИНЕЙНАЯ МОДЕЛЬ
Определяя в разд. 4 классическую линейную модель, мы потре-
бовали выполнения четырех условий. Если отказаться от требова-
ний некоррелированности возмущений и одинаковости их диспер-
сий, то приходим к обобщенной линейной модели.
Итак, в обобщенной линейной модели соблюдаются следующие
условия:
– входные переменные не случайны, а возмущения ε
i
– случай-
ные величины;
– математические ожидания случайных возмущений равны ну-
лю: M(ε
i
)= 0.
Ковариационная матрица возмущений K
ε
в общем случае сим-
метричная, положительно определенная матрица. Рассмотрим осо-
бенности построения линейных регрессионных моделей для общего
случая.
6.1. Обобщенная линейная регрессионная модель
Как и ранее, представим линейную множественную регрессию
соотношением
y = Xα + ε,
а аппроксимирующую линейную функцию уравнением
ŷ = 〈a, x〉,
где
а – вектор выборочных оценок коэффициентов регрессии α.
Применим для оценки параметров метод наименьших квадратов
и получим, как и ранее, вектор оценок
a в виде
a = (X
t
X)
–1
X
t
y.
Оценки
a по-прежнему несмещенные и состоятельные.
Вычислим ковариационную матрицу оценок a
K
a
= M[(a–α)(a–α)
t
].
Опуская преобразования, запишем результат
K
a
= (X
t
X)
–1
X
t
K
ε
X(X
t
X)
–1
,
где K
ε
=M(εε
t
) – ковариационная матрица случайных возмущений.
Напомним, что в классической модели
K
a
кл
= (X
t
X)
–1
.
Это означает, что при попытке использования обычного метода
наименьших квадратов в обобщенной модели мы получили бы сме-
щенную оценку ковариационной матрицы
K
a
.
92
Кроме того, оценка а, определяемая по классической схеме, ос-
таваясь состоятельной и несмещенной, уже не будет эффективной,
то есть не будет обеспечивать минимум дисперсии. Для получения
эффективной оценки используется обобщенный метод наименьших
квадратов.
6.2. Обобщенный метод наименьших квадратов
Согласно теореме Айткена, оценка
(
)
11t −−
εε
=aXKXXKy
является состоятельной, несмещенной оценкой параметров α ли-
нейной обобщенной регрессионной модели.
Доказательство несмещенности тривиально в предположении
M(ε) = 0. Рассмотрим свойство эффективности. Из линейной алгеб-
ры известно, что всякая квадратная симметричная матрица
А поряд-
ка n допускает представление A = TT
t
, где Т – квадратная невырож-
денная матрица порядка n. Поэтому можно найти такую матрицу Т,
что
K
a
= TT
t
,
1
−
a
K =(TT
t
)
–1
= (T
–1
)
t
T
–1
.
Кроме того:
T
–1
K
a
(T
t
)
–1
= T
–1
TT
t
(T
t
)
–1
= E,
где Е – единичная диагональная матрица порядка n.
Умножим обе части обобщенной модели на T
–1
:
T
–1
y = T
–1
Xa + T
–1
ε
и введем очевидные обозначения
y* = X*a + ε*.
Поскольку
M(ε*) = T
–1
M(ε) = 0,
то ковариационная матрица ε* равна
K
ε*
= M(ε*ε*
t
) = M(T
–1
ε(T
–1
ε)
t
) = M(T
–1
εε
t
(T
–1
)
t
) =
= T
–1
M(εε
t
)(T
–1
)
t
=T
–1
K
ε
(T
–1
)
t
= E.
Таким образом, ковариационная матрица преобразованных воз-
мущений единичная и диагональная. Для преобразованных пере-
менных имеет место классическая модель, для которой
b* = (X
t*
X
*
)
–1
X
*
y
*
есть эффективная оценка параметров. Возвращаясь к исходным пе-
ременным, получаем
Страницы
- « первая
- ‹ предыдущая
- …
- 44
- 45
- 46
- 47
- 48
- …
- следующая ›
- последняя »