Математическая статистика и планирование эксперимента. Рыков В.В - 184 стр.

UptoLike

Составители: 

§ 19 Метод наименьших квадратов
В последнем равенстве использована симметричность матри-
цы C, C
0
= C. Следовательно,
X
0
C
1
ε
X
~
β = X
0
C
1
ε
y.
Но так как C
ε
= σ
2
I, т.е. C
1
ε
= σ
2
I и, следовательно,
X
0
X
~
β = X
0
y, то, предполагая, что матрица X
0
X не вырож-
дена, получим
b
=
ˆ
~
β
= (
X
0
X
)
1
X
0
y
.
(19.5)
Вырожденность матрицы X
0
X означает линейную зависи-
мость регрессионных переменных. На практике такое встреча-
ется редко, чаще встречается зависимость, близкая к линейной.
В этом случае матрица X
0
X хоть и не вырождена, но плохо
обусловлена, что приводит к большой вычислительной погреш-
ности при определении коэффициентов (19.5). Такое явление
называется мультиколлинеарностью. О методах борьбы с нею
см. [9].
Пример 19.1. Рассмотрим простую линейную модель от од-
ной регрессионной переменной,
Y = β
0
+ β
1
x + ε
В этом случае
X =
1 x
1
1 x
2
.
.
.
.
.
.
1 x
n
, Y =
y
1
y
2
.
.
.
y
n
,
так что
X
0
X =
·
1 . . . 1
x
1
. . . x
n
¸
×
1 x
1
.
.
.
.
.
.
1 x
n
=
n
P
1in
x
i
P
1in
x
i
P
1in
x
2
i
,
184