Теория и практика математического моделирования в современном литейном производстве. Дурина Т.А. - 18 стр.

             2.2.1 Метод наименьших квадратов
     Метод наименьших квадратов — метод нахождения оптимальных
параметров линейной регрессии, таких, что сумма квадратов ошибок
(регрессионных остатков) минимальна. Метод заключается в минимизации
евклидова расстояния                  между двумя векторами — вектором
восстановленных значений зависимой переменной и вектором фактических
значений зависимой переменной.
     Задача метода наименьших квадратов состоит в выборе вектора              ,

минимизирующего ошибку                       Эта ошибка есть расстояние от

вектора y до вектора       . Вектор     лежит в простанстве столбцов матрицы

  , так как         есть линейная комбинация столбцов этой матрицы с
коэффициентами       ,…,     . Отыскание решения      по методу наименьших
квадратов эквивалентно задаче отыскания такой точки                   , которая
лежит ближе всего к y и находится при этом в пространстве столбцов
матрицы A. Таким образом, вектор              должен быть проекцией          на
пространство столбцов и вектор невязки             должен быть ортогонален
этому пространству. Ортогональность состоит в том, что каждый вектор в
пространстве столбцов есть линейная комбинация столбцов с некоторыми
коэффициентами , … ,       , то есть это вектор   . Для всех     в пространстве

   , эти векторы должны быть перпендикулярны невязке (отыскивать

вектор, наилучшим образом удовлетворяющий всем уравнениям)               :

                                              0
     Так как это равенство должно быть справедливо для произвольного
вектора     , то
                       0
     Решение по методу наименьших квадратов несовместной системы
          , состоящей из     уравнений с    неизвестными       , есть уравнение
               , которое называется нормальным уравнением. Если столбцы
                                                                             18