Всего наименьших квадратов

В прикладной статистике метод наименьших квадратов является типом регрессии ошибок в переменных , методом наименьших квадратов для моделирования данных, в котором учитываются ошибки наблюдений как зависимых, так и независимых переменных. Это обобщение регрессии Деминга , а также ортогональной регрессии , и может применяться как к линейным, так и к нелинейным моделям.

Общая аппроксимация данных методом наименьших квадратов в общем случае эквивалентна наилучшей, в норме Фробениуса , аппроксимации матрицы данных низкого ранга . ^[1]

В методе наименьших квадратов моделирования данных целевая функция , которую необходимо минимизировать, S , представляет собой квадратичную форму :

${\displaystyle S=\mathbf {r^{T}Wr} ,}$

где r — вектор остатков , а W — весовая матрица. В линейном методе наименьших квадратов модель содержит уравнения, которые линейны по параметрам, появляющимся в векторе параметров , поэтому остатки задаются как${\displaystyle {\boldsymbol {\beta }}}$

${\displaystyle \mathbf {r=yX{\boldsymbol {\beta }}} .}$

Имеется m наблюдений в y и n параметров в β с m > n . X - это матрица m × n , элементы которой являются либо константами, либо функциями независимых переменных x . Весовая матрица W в идеале является обратной матрицей дисперсии-ковариации наблюдений y . Предполагается, что независимые переменные не содержат ошибок. Оценки параметров находятся путем установки градиентных уравнений в ноль, что приводит к нормальным уравнениям ^{[примечание 1]}${\displaystyle \mathbf {М} _{y}}$

${\displaystyle \mathbf {X^{T}WX{\boldsymbol {\beta }}=X^{T}Wy} .}$

Теперь предположим, что оба x и y наблюдаются с учетом ошибки, с матрицами дисперсии-ковариации и соответственно. В этом случае целевая функция может быть записана как${\displaystyle \mathbf {M} _{x}}$${\displaystyle \mathbf {М} _{y}}$

${\displaystyle S=\mathbf {r_{x}^{T}M_{x}^{-1}r_{x}+r_{y}^{T}M_{y}^{-1}r_{y}} ,}$

где и являются остатками по x и y соответственно. Очевидно ^{[ необходимо дополнительное объяснение ]} эти остатки не могут быть независимыми друг от друга, но они должны быть ограничены каким-то отношением. Записывая модельную функцию как , ограничения выражаются m уравнениями условий. ^[2]${\displaystyle \mathbf {r} _{x}}$${\displaystyle \mathbf {r} _{y}}$${\displaystyle \mathbf {f(r_{x},r_{y},{\boldsymbol {\beta }})} }$

${\displaystyle \mathbf {F=\Delta y-{\frac {\partial f}{\partial r_{x}}}r_{x}-{\frac {\partial f}{\partial r_{y}}}r_{y}-X\Delta {\boldsymbol {\beta }}=0} .}$

Таким образом, задача состоит в минимизации целевой функции при ограничениях m . Она решается с помощью множителей Лагранжа . После некоторых алгебраических манипуляций ^[3] получается результат.

${\displaystyle \mathbf {X^{T}M^{-1}X\Delta {\boldsymbol {\beta }}=X^{T}M^{-1}\Delta y} ,}$

или альтернативно, где M — матрица дисперсии-ковариации относительно как независимых, так и зависимых переменных.${\displaystyle \mathbf {X^{T}M^{-1}X{\boldsymbol {\beta }}=X^{T}M^{-1}y} ,}$

${\displaystyle \mathbf {M=K_{x}M_{x}K_{x}^{T}+K_{y}M_{y}K_{y}^{T};\ K_{x}=-{\frac {\partial f}{\partial r_{x}}},\ K_{y}=-{\frac {\partial f}{\partial r_{y}}}} .}$

Когда ошибки данных некоррелированы, все матрицы M и W диагональны. Тогда возьмем пример подгонки прямой линией.

${\displaystyle f(x_{i},\beta )=\alpha +\beta x_{i}}$

в этом случае

${\displaystyle M_{ii}=\sigma _{y,i}^{2}+\beta ^{2}\sigma _{x,i}^{2}}$

показывая, как дисперсия в точке i определяется дисперсиями как независимых, так и зависимых переменных и моделью, используемой для подгонки данных. Выражение можно обобщить, отметив, что параметром является наклон линии.${\displaystyle \beta }$

${\displaystyle M_{ii}=\sigma _{y,i}^{2}+\left({\frac {dy}{dx}}\right)_{i}^{2}\sigma _{x,i}^{2}}$

Выражение этого типа используется при подгонке данных титрования pH , где небольшая ошибка по x приводит к большой ошибке по y при большом наклоне.

Как было показано в 1980 году Голубом и Ван Лоаном, проблема TLS в общем случае не имеет решения. ^[4] Далее рассматривается простой случай, когда существует единственное решение без каких-либо конкретных предположений.

Вычисление TLS с использованием сингулярного разложения (SVD) описано в стандартных текстах. ^[5] Мы можем решить уравнение

${\displaystyle XB\approx Y}$

для B , где X - это m на n , а Y - это m на k . ^{[примечание 2]}

То есть, мы стремимся найти B , который минимизирует матрицы ошибок E и F для X и Y соответственно. То есть,

${\displaystyle \mathrm {argmin} _{B,E,F}\|[E\;F]\|_{F},\qquad (X+E)B=Y+F}$

где — расширенная матрица с E и F, стоящими рядом, а — норма Фробениуса , квадратный корень из суммы квадратов всех элементов матрицы и, что эквивалентно, квадратный корень из суммы квадратов длин строк или столбцов матрицы.${\displaystyle [E\;F]}$${\displaystyle \|\cdot \|_{F}}$

Это можно переписать как

${\displaystyle [(X+E)\;(Y+F)]{\begin{bmatrix}B\\-I_{k}\end{bmatrix}}=0.}$

где — единичная матрица. Цель состоит в том, чтобы найти , что уменьшает ранг на k . Определим как сингулярное значение разложения расширенной матрицы .${\displaystyle I_{k}}$${\displaystyle k\times k}$${\displaystyle [E\;F]}$${\displaystyle [X\;Y]}$${\displaystyle [U][\Sigma ][V]^{*}}$${\displaystyle [X\;Y]}$

${\displaystyle [X\;Y]=[U_{X}\;U_{Y}]{\begin{bmatrix}\Sigma _{X}&0\\0&\Sigma _{Y}\end{bmatrix}}{\begin{bmatrix}V_{XX}&V_{XY}\\V_{YX}&V_{YY}\end{bmatrix}}^{*}=[U_{X}\;U_{Y}]{\begin{bmatrix}\Sigma _{X}&0\\0&\Sigma _{Y}\end{bmatrix}}{\begin{bmatrix}V_{XX}^{*}&V_{YX}^{*}\\V_{XY}^{*}&V_{YY}^{*}\end{bmatrix}}}$

где V разбито на блоки , соответствующие форме X и Y.

Используя теорему Эккарта–Янга , приближение, минимизирующее норму ошибки, таково, что матрицы и остаются неизменными, а наименьшие сингулярные значения заменяются нулями. То есть, мы хотим${\displaystyle U}$${\displaystyle V}$${\displaystyle k}$

${\displaystyle [(X+E)\;(Y+F)]=[U_{X}\;U_{Y}]{\begin{bmatrix}\Sigma _{X}&0\\0&0_{k\times k}\end{bmatrix}}{\begin{bmatrix}V_{XX}&V_{XY}\\V_{YX}&V_{YY}\end{bmatrix}}^{*}}$

поэтому по линейности,

${\displaystyle [E\;F]=-[U_{X}\;U_{Y}]{\begin{bmatrix}0_{n\times n}&0\\0&\Sigma _{Y}\end{bmatrix}}{\begin{bmatrix}V_{XX}&V_{XY}\\V_{YX}&V_{YY}\end{bmatrix}}^{*}.}$

Затем мы можем удалить блоки из матриц U и Σ, упростив до

${\displaystyle [E\;F]=-U_{Y}\Sigma _{Y}{\begin{bmatrix}V_{XY}\\V_{YY}\end{bmatrix}}^{*}=-[X\;Y]{\begin{bmatrix}V_{XY}\\V_{YY}\end{bmatrix}}{\begin{bmatrix}V_{XY}\\V_{YY}\end{bmatrix}}^{*}.}$

Это обеспечивает E и F, так что

${\displaystyle [(X+E)\;(Y+F)]{\begin{bmatrix}V_{XY}\\V_{YY}\end{bmatrix}}=0.}$

Теперь, если является невырожденной, что не всегда так (обратите внимание, что поведение TLS, когда является вырожденной, пока не очень хорошо изучено), мы можем умножить обе стороны справа на , чтобы привести нижний блок правой матрицы к отрицательному тождеству, что дает ^[6]${\displaystyle V_{YY}}$${\displaystyle V_{YY}}$${\displaystyle -V_{YY}^{-1}}$

${\displaystyle [(X+E)\;(Y+F)]{\begin{bmatrix}-V_{XY}V_{YY}^{-1}\\-V_{YY}V_{YY}^{-1}\end{bmatrix}}=[(X+E)\;(Y+F)]{\begin{bmatrix}B\\-I_{k}\end{bmatrix}}=0,}$

и так

${\displaystyle B=-V_{XY}V_{YY}^{-1}.}$

Простейшая реализация этого на GNU Octave выглядит так:

функция  B = tls ( X, Y )  [ m n ] = размер ( X ); % n - ширина X (X - это m на n) Z = [ X Y ]; % Z - это X, дополненный Y. [ U S V ] = svd ( Z , 0 ); % найти SVD Z. VXY = V ( 1 : n , 1 + n : end ); % Берем блок V, состоящий из первых n строк и столбцов с n+1 по последний VYY = V ( 1 + n : end , 1 + n : end ); % Берем нижний правый блок V. B = - VXY / VYY ;                          конец

Описанный выше способ решения задачи, требующий, чтобы матрица была невырожденной, можно немного расширить с помощью так называемого классического алгоритма TLS . ^[7]${\displaystyle V_{YY}}$

Стандартная реализация классического алгоритма TLS доступна через Netlib, см. также. ^{[8] [9]} Все современные реализации, основанные, например, на решении последовательности обычных задач наименьших квадратов, аппроксимируют матрицу (обозначаемую в литературе), как это было введено Ван Хаффелем и Вандевалле. Стоит отметить, что это , однако, не является решением TLS во многих случаях. ^{[10] [11]}${\displaystyle B}$${\displaystyle X}$${\displaystyle B}$

Для нелинейных систем аналогичные рассуждения показывают, что нормальные уравнения для итерационного цикла можно записать в виде

${\displaystyle \mathbf {J^{T}M^{-1}J\Delta {\boldsymbol {\beta }}=J^{T}M^{-1}\Delta y} ,}$

где — матрица Якоби .${\displaystyle \mathbf {J} }$

Когда независимая переменная не содержит ошибок, остаток представляет собой «вертикальное» расстояние между наблюдаемой точкой данных и подобранной кривой (или поверхностью). В методе наименьших квадратов остаток представляет собой расстояние между точкой данных и подобранной кривой, измеренное вдоль некоторого направления. Фактически, если обе переменные измеряются в одних и тех же единицах и ошибки по обеим переменным одинаковы, то остаток представляет собой кратчайшее расстояние между точкой данных и подобранной кривой , то есть вектор остатка перпендикулярен касательной к кривой. По этой причине этот тип регрессии иногда называют двумерной евклидовой регрессией (Stein, 1983) ^[12] или ортогональной регрессией .

Серьезная трудность возникает, если переменные не измеряются в одних и тех же единицах. Сначала рассмотрим измерение расстояния между точкой данных и линией: каковы единицы измерения для этого расстояния? Если мы рассмотрим измерение расстояния на основе теоремы Пифагора, то ясно, что мы будем складывать величины, измеренные в разных единицах, что бессмысленно. Во-вторых, если мы изменим масштаб одной из переменных, например, измерим в граммах, а не в килограммах, то мы получим другие результаты (другую линию). Чтобы избежать этих проблем, иногда предлагается преобразовать их в безразмерные переменные — это можно назвать нормализацией или стандартизацией. Однако существуют различные способы сделать это, и они приводят к подобранным моделям, которые не эквивалентны друг другу. Один из подходов заключается в нормализации по известной (или предполагаемой) точности измерения, тем самым минимизируя расстояние Махаланобиса от точек до линии, обеспечивая решение с максимальным правдоподобием ; ^{[ требуется ссылка ]} неизвестные точности можно найти с помощью дисперсионного анализа .

Короче говоря, метод наименьших квадратов не обладает свойством инвариантности к единицам, т. е. он не инвариантен к масштабу . Для осмысленной модели нам необходимо, чтобы это свойство сохранялось. Путь вперед — понять, что остатки (расстояния), измеренные в разных единицах, могут быть объединены, если вместо сложения использовать умножение. Рассмотрим подгонку линии: для каждой точки данных произведение вертикальных и горизонтальных остатков равно удвоенной площади треугольника, образованного линиями остатков и подогнанной линией. Мы выбираем линию, которая минимизирует сумму этих площадей. Нобелевский лауреат Пол Самуэльсон доказал в 1942 году, что в двух измерениях это единственная линия, выражаемая исключительно через отношения стандартных отклонений и коэффициент корреляции, которая (1) соответствует правильному уравнению, когда наблюдения попадают на прямую линию, (2) демонстрирует инвариантность к масштабу и (3) демонстрирует инвариантность при замене переменных. ^[13] Это решение было заново открыто в различных дисциплинах и известно под разными названиями: стандартизированная большая ось (Ricker 1975, Warton et al., 2006), ^{[14] [15]} редуцированная большая ось , геометрическое среднее функциональное отношение (Draper and Smith, 1998), ^[16] регрессия наименьших продуктов , диагональная регрессия , линия органической корреляции и линия наименьших площадей (Tofallis, 2002). ^[17]

Tofallis (2015, 2023) ^{[18] [19]} расширил этот подход для работы с несколькими переменными. Расчеты проще, чем для наименьших квадратов, поскольку они требуют только знания ковариаций и могут быть вычислены с использованием стандартных функций электронных таблиц.

• Регрессионное разбавление
• Регрессия Деминга , особый случай с двумя предикторами и независимыми ошибками.
• Модель ошибок в переменных
• Модель Гаусса-Гельмерта
• Линейная регрессия
• Наименьшие квадраты
• Анализ главных компонент
• Регрессия главных компонентов

• I. Hnětynková, M. Plešinger, DM Sima, Z. Strakoš и S. Van Huffel , The total least squares problem in AX ≈ B. Новая классификация с отношением к классическим работам. SIMAX vol. 32 issue 3 (2011), pp. 748–770. Доступно в виде препринта.
• M. Плешингер, Проблема наименьших квадратов и сокращение данных в AX ≈ B. Докторская диссертация, Технический университет Либерец и Институт компьютерных наук, АН ЧР, Прага, 2008. Кандидатская диссертация
• CC Paige, Z. Strakoš, Основные проблемы в линейных алгебраических системах. SIAM J. Matrix Anal. Appl. 27, 2006, стр. 861–875. doi :10.1137/040616991
• S. Van Huffel и P. Lemmerling, Total Least Squares and Errors-in-Variables Modeling: Analysis, Algorithms and Applications . Дордрехт, Нидерланды: Kluwer Academic Publishers, 2002.
• S. Jo и SW Kim, Последовательная нормализованная фильтрация по методу наименьших квадратов с зашумленной матрицей данных. IEEE Trans. Signal Process., т. 53, № 6, стр. 2112–2123, июнь 2005 г.
• RD DeGroat и EM Dowling, Задача наименьших квадратов данных и выравнивание канала. IEEE Trans. Signal Process., т. 41, № 1, стр. 407–411, январь 1993 г.
• S. Van Huffel и J. Vandewalle, The Total Least Squares Problems: Computational Aspects and Analysis. SIAM Publications, Филадельфия, Пенсильвания, 1991. doi : 10.1137/1.9781611971002
• T. Abatzoglou и J. Mendel, Ограниченные общие наименьшие квадраты , в Трудах Международной конференции IEEE по акустике, речи и обработке сигналов (ICASSP'87), апрель 1987 г., т. 12, стр. 1485–1488.
• П. де Гроен. Введение в метод наименьших квадратов , в Nieuw Archief voor Wiskunde, серия Vierde, 14 декабря 1996 г., стр. 237–253 arxiv.org.
• GH Golub и CF Van Loan, Анализ проблемы наименьших квадратов. SIAM J. on Numer. Anal., 17, 1980, стр. 883–893. doi :10.1137/0717073
• Перпендикулярная регрессия линии в MathPages
• AR Amiri-Simkooei и S. Jazaeri Взвешенные общие наименьшие квадраты, сформулированные с помощью стандартной теории наименьших квадратов , в Journal of Geodetic Science, 2 (2): 113–124, 2012 [1].