Составители:
Рубрика:
61
мере проявляются все признаки так называемых некорректных за-
дач. Для устранения или уменьшения мультиколлинеарности ис-
пользуется ряд методов. Некоторые из них мы рассмотрим с той или
иной степенью подробности.
4.4.1. Метод пошагового исключения (отбора) факторов
Наиболее простой прием заключается в том, что из двух вход-
ных переменных, имеющих высокий коэффициент корреляции, одна
переменная исключается. Эту процедуру можно применить не-
сколько раз. При использовании этого приема возникают, по край-
ней мере, три проблемы:
–
определение порогового значения коэффициента корреляции;
–
выбор исключаемой переменной;
–
оценка изменения значимости регрессионного уравнения при
исключении той или иной входной переменной.
Более обоснованным представляется пошаговый отбор перемен-
ных, включаемых в регрессионное уравнение. Процедура отбора
состоит в следующем.
1-й шаг. Из совокупности входных переменных выбирается пе-
ременная, имеющая наибольший парный коэффициент корреляции с
выходной переменной. Для полученной модели парной регрессии
подсчитывается коэффициент детерминации модели
2
1
R
.
2-й шаг. К выбранной переменной добавляется следующая из
оставшейся совокупности, выбираемая из условия, чтобы коэффи-
циент детерминации двумерной модели был наибольшим. Коэффи-
циент детерминации двумерной модели
2
2
R
сравнивается с
2
1
R
. Если
2
2
R
существенно больше
2
1
R
, то приступают к выбору третьей пере-
менной. В противном случае удовлетворяются одномерной моде-
лью.
Последующие шаги осуществляются аналогично второму шагу.
Процесс отбора заканчивается, когда очередная включаемая в мо-
дель переменная не дает существенного увеличения коэффициента
детерминации.
4.4.2. Метод главных компонент
Здесь и далее в этом подразделе будем предполагать, что мате-
матические ожидания входных переменных равны нулю, что дости-
гается, например, центрированием входных переменных выбороч-
62
ными средними. Кроме того, векторы а и х будем считать укорочен-
ными на нулевую координату:
a = (a
1
, a
2
, ..., a
m
)
t
, x = (x
1
, x
2
, ..., x
m
)
t
,
так что уравнение регрессии имеет вид
y = 〈 a, x 〉.
Основная идея метода главных компонент состоит в таком пре-
образовании входных переменных, чтобы новые переменные были
некоррелированными.
Ковариационная матрица входных переменных
K
x
= M(xx
t
)
вещественная и симметричная и, следовательно, имеет веществен-
ные собственные значения. Согласно известной теореме линейной
алгебры, существует ортогональный базис, в котором матрица
K
x
диагональная и вещественная. Этот базис состоит из m собственных
векторов матрицы
K
x.
Собственные векторы, соответствующие раз-
личным собственным значениям, взаимно ортогональны и опреде-
ляются из условия
K
x
u
i
=λ
i
u
i
, i = 1, 2, …, m,
где u
i
, λ
i
– собственный вектор и соответствующее ему собственное
значение.
Собственные векторы определяются с точностью до произволь-
ных сомножителей. Нормируем их так, чтобы длина каждого векто-
ра равнялась единице:
〈 u
i
, u
i
〉 = 1
и перенумеруем в порядке убывания собственные значения, так что
λ
1
> λ
2
>… > λ
m
.
Составим из векторов
u
i
, как из столбцов, матрицу U. Линейное
преобразование с матрицей
U является унитарным. Действительно,
по определению матрицы
U:
UU
t
= U
t
U = E,
где E – единичная матрица.
Унитарное образование обладает рядом полезных свойств.
1. Транспортирование матрицы
U
t
равно обратной U
–1
. Действи-
тельно, так как
UU
–1
= U
–1
U = E, то U
t
= U
–1
.
2. Собственные значения матрицы
U равны 1, что следует из ее
определения и предварительной нормировки векторов
u
i
.
3. Преобразование
U сохраняет длину вектора
Страницы
- « первая
- ‹ предыдущая
- …
- 29
- 30
- 31
- 32
- 33
- …
- следующая ›
- последняя »
