Прикладной регрессионный анализ. Многофакторная регрессия. Шашков В.Б. - 20 стр.

      Эта величина позволяет сформулировать понятие наилучшего реше -
ния системы уравнений, которая не имеет единственного решения. Наилуч-
шим будет решение, которое минимизирует остаточную сумму. Такое ре-
шение называется методом наименьших квадратов. В точке минимума
функции (11) ее производные ∂SUMost / ∂bj равны нулю. Дифференцируя
уравнение (11) по всем коэффициентам регрессии и приравнивая нулю про-
изводные, получим систему нормальных уравнений /5/, которая совместна,
имеет единственное решение и минимизирует остаточную сумму. Но для
многофакторных полиномов высоких степеней способ создания системы
нормальных уравнений через частные производные сложен и трудоемок.
Существует более простой способ построения системы нормальных уравне-
ний путем пошагового преобразования системы условных уравнений.


    2.3 Преобразование системы условных уравнений по методу наи-
меньших квадратов. Система нормальных уравнений

     Пошаговая процедура преобразования системы условных уравнений в
систему нормальных уравнений была разработана Гауссом. На первом шаге
процедуры каждое условное уравнение системы (9) умножается на свой
множитель при первом коэффициенте регрессии b0, после чего все преобра-
зованные таким образом условные уравнения складываются сверху вниз;
суммарное уравнение и будет первым нормальным уравнением. Если, на-
пример, искомым уравнением регрессии будет полином вида

        b0 + b1 ⋅ x 1 + b2 ⋅ x 2 + b12 ⋅ x 1 ⋅ x 2 + b11 ⋅ x 12 + b22 ⋅ x 2 2 = y ,   (12)

то результат первого шага в алгебраическом виде будет следующим

        n⋅b0+b1⋅∑x1+b2⋅∑x2+b12⋅∑x1⋅x2 +b11⋅∑x12+b22⋅∑x22=∑y,

поскольку множителем при первом коэффициенте b0 является единица.
      На втором шаге каждое исходное условное уравнений умножается на
свой множитель при втором коэффициенте b с последующим сложением по-
лученных уравнений и образованием второго нормального уравнения-и т.д.,
до исчерпания всех множителей при коэффициентах b. В итоге формируется
система нормальных уравнений, число которых равно числу коэффициентов
регрессии в уравнении (12). Для разбираемого примера это будет система
(13) состоит из шести уравнений.
      Система нормальных уравнений совместна, имеет единственное реше-
ние и минимизирует остаточную сумму (11), т.е. обеспечивает наилучшее
решение системы уравнений (9) из всех возможных решений.


20