Теория вероятностей и математическая статистика: краткий курс для экономистов. Солопахо А.В. - 51 стр.

UptoLike

ВУЗ: 

ТГТУ | Тамбов

Составители: 

Рубрика: 

,
,
,
21
22221
11211
2
1
nmnn
m
m
n
xxx
xxx
xxx
y
y
y
L
MOMM
L
L
M
где
ij
x – наблюдаемое значение j-го объясняющего фактора в i-м наблюдении. Если принята линейная модель множествен-
ной регрессии, то это означает, что считается выполненной следующая система соотношений
nixaxay
iimmii
,1,...
11
=ε+++= ,
где
ni
i
,1, =ε – случайные возмущения в отдельных наблюдениях. Эту систему соотношений, в свою очередь, называют
классической нормальной линейной моделью множественной регрессии, если выполняются условия:
1)
i
ε – являются реализациями независимых с.в. с распределением
(
)
2
,0 σN ;
2)
m
xx ...,,
1
– неслучайные величины;
3) столбцы матрицы
=
nmnn
m
m
xxx
xxx
xxx
X
L
MOMM
L
L
21
22221
11211
линейнонезависимы. Это означает, что объясняющие факторы взаимно независимы, т.е. не выражаются друг через друга, и
что матрица
()
XX
T
невырождена.
Матрицу X будем называть матрицей значений объясняющих факторов.
Предположения (1) – (3) называют основными предпосылками регрессионного анализа, или условиями Гаусса–Маркова.
Если ввести обозначения
=
n
y
y
y
Y
M
2
1
,
=
m
a
a
a
a
M
2
1
,
ε
ε
ε
=ε
n
M
2
1
,
то нормальную модель можно записать в гораздо более компактной матричной форме
ε
+
=
aXY .
5.3. Метод наименьших квадратов (МНК)
Метод наименьших квадратов – это метод нахождения оценок коэффициентов регрессии.
Уравнение регрессии, соответствующее многомерной линейной модели, имеет вид
mm
xxy
α
+
+
α
=
...
ˆ
11
,
где
i
α – оценки неизвестных коэффициентов линейной регрессии mia
i
,1, = . Вектор
YY
e
e
e
e
n
ˆ
2
1
−=
=
M
называют вектором ошибок регрессии или вектором остатков регрессии. Идея МНК состоит в том, что в качестве искомых
оценок следует принять такие значения, при которых вектор ошибок оказывается наименьшим. При этом используется сле-
дующая мера величины этого вектора
()
∑
=
==αα
n
i
i
T
m
eeeQ
1
2
1
....,, ,
которая соответствует обычной формуле длины вектора в n -мерном евклидовом пространстве. Ясно, что величину
()
m
Q αα ....,,
1
, как это и указано, следует рассматривать как функцию искомых оценок. Эту функцию называют квадрати-
ческой функцией невязки. В принципе возможно использование и других мер величины вектора ошибок, например, сумму
модулей элементов этого вектора и т.п. Однако, квадратическая функция невязки имеет те преимущества, что она диффе-
ренцируема, и система необходимых условий минимума этой функции является линейной, а значит легко решается.
Имеем,
()
(
)
(
)
()()
=α−α−=−−==αα XYXYYYYYeeQ
T
T
T
m
ˆˆ
....,,
1
αα+α−=αα+α−α−= XXYXYYXXXYYXYY
TTTTTTTTT
2 ,
где
α
– вектор искомых оценок. Дифференцируя векторно, получаем систему необходимых условий минимума

Страницы