Регуляризованный метод наименьших квадратов

Эта статья должна быть обобщена в Least squares#Regularization и ссылка должна быть предоставлена ​​оттуда сюда с использованием шаблона. См. руководство в Wikipedia:Summary style . ( Ноябрь 2020 г. ){{Main}}

Регуляризованный метод наименьших квадратов ( RLS ) — это семейство методов решения задачи наименьших квадратов с использованием регуляризации для дальнейшего ограничения полученного решения.

RLS используется по двум основным причинам. Первая возникает, когда количество переменных в линейной системе превышает количество наблюдений. В таких условиях обычная задача наименьших квадратов некорректна и, следовательно, не может быть подогнана, поскольку связанная с ней задача оптимизации имеет бесконечно много решений. RLS позволяет вводить дополнительные ограничения, которые однозначно определяют решение.

Вторая причина использования RLS возникает, когда обученная модель страдает от плохого обобщения . RLS может использоваться в таких случаях для улучшения обобщаемости модели путем ограничения ее во время обучения. Это ограничение может либо заставить решение быть «разреженным» в некотором роде, либо отражать другие предшествующие знания о проблеме, такие как информация о корреляциях между признаками. Байесовского понимания этого можно достичь, показав, что методы RLS часто эквивалентны априорным данным в решении задачи наименьших квадратов.

Рассмотрим обучающую настройку, заданную вероятностным пространством , . Пусть обозначает обучающий набор пар iid относительно совместного распределения . Пусть будет функцией потерь. Определим как пространство функций, таких что ожидаемый риск: хорошо определен. Основная цель — минимизировать ожидаемый риск: Поскольку задача не может быть решена точно, необходимо указать, как измерить качество решения. Хороший алгоритм обучения должен предоставлять оценщику небольшой риск.${\displaystyle (X\times Y,\rho (X,Y))}$${\displaystyle Y\in R}$${\displaystyle S=\{x_{i},y_{i}\}_{i=1}^{n}}$${\displaystyle n}$${\displaystyle \ро}$${\displaystyle V:Y\times R\to [0;\infty)}$${\displaystyle F}$$${\displaystyle \varepsilon (f)=\int V(y,f(x))\,d\rho (x,y)}$$$${\displaystyle \inf _{f\in F}\varepsilon (f)}$$

Поскольку совместное распределение обычно неизвестно, берется эмпирический риск. Для регуляризованных наименьших квадратов вводится функция квадратичных потерь:${\displaystyle \rho }$$${\displaystyle \varepsilon (f)={\frac {1}{n}}\sum _{i=1}^{n}V(y_{i},f(x_{i}))={\frac {1}{n}}\sum _{i=1}^{n}(y_{i}-f(x_{i}))^{2}}$$

Однако, если функции из относительно неограниченного пространства, например, набора квадратично-интегрируемых функций на , этот подход может переобучить обучающие данные и привести к плохому обобщению. Таким образом, он должен каким-то образом ограничить или наказать сложность функции . В RLS это достигается путем выбора функций из воспроизводящего ядра Гильбертова пространства (RKHS) и добавления члена регуляризации к целевой функции, пропорционального норме функции в :${\displaystyle X}$${\displaystyle f}$${\displaystyle {\mathcal {H}}}$${\displaystyle {\mathcal {H}}}$$${\displaystyle \inf _{f\in F}\varepsilon (f)+\lambda R(f),\lambda >0}$$

RKHS может быть определена симметричной положительно-определенной функцией ядра с воспроизводящим свойством: где . RKHS для ядра состоит из завершения пространства функций, охватываемого : , где все являются действительными числами. Некоторые часто используемые ядра включают линейное ядро, индуцирующее пространство линейных функций: полиномиальное ядро, индуцирующее пространство полиномиальных функций порядка : и гауссово ядро:${\displaystyle K(x,z)}$$${\displaystyle \langle K_{x},f\rangle _{\mathcal {H}}=f(x),}$$${\displaystyle K_{x}(z)=K(x,z)}$${\displaystyle K}$${\displaystyle \left\{K_{x}\mid x\in X\right\}}$${\textstyle f(x)=\sum _{i=1}^{n}\alpha _{i}K_{x_{i}}(x),\,f\in {\mathcal {H}}}$${\displaystyle \alpha _{i}}$$${\displaystyle K(x,z)=x^{\mathsf {T}}z,}$$${\displaystyle d}$$${\displaystyle K(x,z)=\left(x^{\mathsf {T}}z+1\right)^{d},}$$$${\displaystyle K(x,z)=e^{-{\left\|x-z\right\|^{2}}/{\sigma ^{2}}}.}$$

Обратите внимание, что для произвольной функции потерь этот подход определяет общий класс алгоритмов, называемых регуляризацией Тихонова. Например, использование потери шарнира приводит к алгоритму опорных векторов , а использование потери, нечувствительной к эпсилону, приводит к регрессии опорных векторов .${\displaystyle V}$

Теорема о представителе гарантирует, что решение можно записать в виде: для некоторых .$${\displaystyle f(x)=\sum _{i=1}^{n}c_{i}K(x_{i},x)}$$${\displaystyle c\in \mathbb {R} ^{n}}$

Проблему минимизации можно выразить следующим образом: где, с некоторой долей злоупотребления обозначениями, запись матрицы ядра (в отличие от функции ядра ) равна .$${\displaystyle \min _{c\in \mathbb {R} ^{n}}{\frac {1}{n}}\left\|Y-Kc\right\|_{\mathbb {R} ^{n}}^{2}+\lambda \left\|f\right\|_{H}^{2},}$$${\displaystyle i,j}$${\displaystyle K}$${\displaystyle K(\cdot ,\cdot )}$${\displaystyle K(x_{i},x_{j})}$

Для такой функции$${\displaystyle {\begin{aligned}\left\|f\right\|_{H}^{2}&=\langle f,f\rangle _{H}\\[1ex]&=\left\langle \sum _{i=1}^{n}c_{i}K(x_{i},\cdot ),\sum _{j=1}^{n}c_{j}K(x_{j},\cdot )\right\rangle _{H}\\[1ex]&=\sum _{i=1}^{n}\sum _{j=1}^{n}c_{i}c_{j}\left\langle K(x_{i},\cdot ),K(x_{j},\cdot )\right\rangle _{H}\\&=\sum _{i=1}^{n}\sum _{j=1}^{n}c_{i}c_{j}K(x_{i},x_{j})\\&=c^{\mathsf {T}}Kc,\end{aligned}}}$$

Можно получить следующую задачу минимизации:$${\displaystyle \min _{c\in \mathbb {R} ^{n}}{\frac {1}{n}}\left\|Y-Kc\right\|_{\mathbb {R} ^{n}}^{2}+\lambda c^{\mathsf {T}}Kc.}$$

Поскольку сумма выпуклых функций является выпуклой, решение единственно и его минимум можно найти, установив градиент относительно к : где${\displaystyle c}$${\displaystyle 0}$$${\displaystyle -{\frac {1}{n}}K\left(Y-Kc\right)+\lambda Kc=0\Rightarrow K\left(K+\lambda nI\right)c=KY\Rightarrow c=\left(K+\lambda nI\right)^{-1}Y,}$$${\displaystyle c\in \mathbb {R} ^{n}.}$

Сложность обучения в основном представляет собой стоимость вычисления матрицы ядра плюс стоимость решения линейной системы, что примерно составляет . Вычисление матрицы ядра для линейного или гауссовского ядра составляет . Сложность тестирования составляет .${\displaystyle O(n^{3})}$${\displaystyle O(n^{2}D)}$${\displaystyle O(n)}$

Прогноз в новой контрольной точке :${\displaystyle x_{*}}$$${\displaystyle f(x_{*})=\sum _{i=1}^{n}c_{i}K(x_{i},x_{*})=K(X,X_{*})^{\mathsf {T}}c}$$

Для удобства введена векторная нотация. Пусть будет матрицей, где строки — входные векторы, а вектор — где записи — соответствующие выходы. В терминах векторов матрицу ядра можно записать как . Функцию обучения можно записать как:${\displaystyle X}$${\displaystyle n\times d}$${\displaystyle Y}$${\displaystyle n\times 1}$${\displaystyle K=XX^{\mathsf {T}}}$$${\displaystyle f(x_{*})=K_{x_{*}}c=x_{*}^{\mathsf {T}}X^{\mathsf {T}}c=x_{*}^{\mathsf {T}}w}$$

Здесь мы определяем . Целевую функцию можно переписать как:${\displaystyle w=X^{\mathsf {T}}c,w\in \mathbb {R} ^{d}}$$${\displaystyle {\begin{aligned}{\frac {1}{n}}\left\|Y-Kc\right\|_{\mathbb {R} ^{n}}^{2}+\lambda c^{\mathsf {T}}Kc&={\frac {1}{n}}\left\|y-XX^{\mathsf {T}}c\right\|_{\mathbb {R} ^{n}}^{2}+\lambda c^{\mathsf {T}}XX^{\mathsf {T}}c\\[1ex]&={\frac {1}{n}}\left\|y-Xw\right\|_{\mathbb {R} ^{n}}^{2}+\lambda \left\|w\right\|_{\mathbb {R} ^{d}}^{2}\end{aligned}}}$$

Первый член — это целевая функция из регрессии обычных наименьших квадратов (OLS), соответствующая остаточной сумме квадратов . Второй член — это член регуляризации, отсутствующий в OLS, который штрафует большие значения. Поскольку рассматривается гладкая конечномерная задача, и можно применять стандартные инструменты исчисления. Чтобы минимизировать целевую функцию, градиент вычисляется относительно и устанавливается равным нулю:${\displaystyle w}$${\displaystyle w}$$${\displaystyle X^{\mathsf {T}}Xw-X^{\mathsf {T}}y+\lambda nw=0}$$$${\displaystyle w=\left(X^{\mathsf {T}}X+\lambda nI\right)^{-1}X^{\mathsf {T}}y}$$

Это решение очень похоже на решение стандартной линейной регрессии с дополнительным членом . Если предположения регрессии OLS верны, решение , с , является несмещенной оценкой и является линейной несмещенной оценкой с минимальной дисперсией, согласно теореме Гаусса–Маркова . Таким образом, член приводит к смещенному решению; однако, он также имеет тенденцию уменьшать дисперсию. Это легко увидеть, поскольку ковариационная матрица -значений пропорциональна , и, следовательно, большие значения приведут к меньшей дисперсии. Следовательно, манипулирование соответствует компромиссу смещения и дисперсии. Для задач с оценками с высокой дисперсией, таких как случаи с относительно небольшими или коррелированными регрессорами, оптимальная точность прогнозирования может быть получена с использованием ненулевого , и, таким образом, введением некоторого смещения для уменьшения дисперсии. Кроме того, в машинном обучении нередко встречаются случаи, когда , в этом случае имеет место дефицит ранга , и для вычисления необходим ненулевой .${\displaystyle \lambda I}$${\displaystyle w=\left(X^{\mathsf {T}}X\right)^{-1}X^{\mathsf {T}}y}$${\displaystyle \lambda =0}$${\displaystyle \lambda nI}$${\displaystyle w}$${\displaystyle \left(X^{\mathsf {T}}X+\lambda nI\right)^{-1}}$${\displaystyle \lambda }$${\displaystyle \lambda }$${\displaystyle w}$${\displaystyle n}$${\displaystyle \lambda }$${\displaystyle n<d}$${\displaystyle X^{\mathsf {T}}X}$${\displaystyle \lambda }$${\displaystyle \left(X^{\mathsf {T}}X+\lambda nI\right)^{-1}}$

Параметр управляет обратимостью матрицы . Для решения указанной выше линейной системы можно использовать несколько методов, разложение Холецкого , вероятно, является методом выбора, поскольку матрица симметрична и положительно определена . Сложность этого метода заключается в обучении и тестировании. Стоимость по сути совпадает с вычислением , тогда как обратное вычисление (или, скорее , решение линейной системы) составляет примерно .${\displaystyle \lambda }$${\displaystyle X^{\mathsf {T}}X+\lambda nI}$${\displaystyle X^{\mathsf {T}}X+\lambda nI}$${\displaystyle O(nD^{2})}$${\displaystyle O(D)}$${\displaystyle O(nD^{2})}$${\displaystyle X^{\mathsf {T}}X}$${\displaystyle O(D^{3})}$

В этом разделе будет показано, как расширить RLS до любого вида воспроизводящего ядра K. Вместо линейного ядра рассматривается карта признаков для некоторого гильбертова пространства , называемого пространством признаков. В этом случае ядро ​​определяется как: Матрица теперь заменяется новой матрицей данных , где , или -й компонент . Это означает, что для заданного обучающего набора . Таким образом, целевая функция может быть записана как${\displaystyle \Phi :X\to F}$${\displaystyle F}$${\displaystyle X}$${\displaystyle \Phi }$${\displaystyle \Phi _{ij}=\varphi _{j}(x_{i})}$${\displaystyle j}$${\displaystyle \varphi (x_{i})}$$${\displaystyle K(x,x')=\langle \Phi (x),\Phi (x')\rangle _{F}.}$$${\displaystyle K=\Phi \Phi ^{\mathsf {T}}}$$${\displaystyle \min _{c\in \mathbb {R} ^{n}}\left\|Y-\Phi \Phi ^{\mathsf {T}}c\right\|_{\mathbb {R} ^{n}}^{2}+\lambda c^{\mathsf {T}}\Phi \Phi ^{\mathsf {T}}c.}$$

Этот подход известен как трюк с ядром . Этот метод может значительно упростить вычислительные операции. Если имеет большую размерность, вычисления могут быть довольно интенсивными. Если известна явная форма функции ядра, нам просто нужно вычислить и сохранить матрицу ядра .${\displaystyle F}$${\displaystyle \varphi (x_{i})}$${\displaystyle n\times n}$${\displaystyle K}$

На самом деле, гильбертово пространство не обязательно должно быть изоморфно , и может быть бесконечномерным. Это следует из теоремы Мерсера , которая гласит, что непрерывная, симметричная, положительно определенная функция ядра может быть выражена как , где образуют ортонормированный базис для , и . Если карты признаков определены с компонентами , то следует, что . Это показывает, что любое ядро ​​может быть связано с картой признаков, и что RLS обычно состоит из линейного RLS, выполненного в некотором возможно более многомерном пространстве признаков. В то время как теорема Мерсера показывает, как одна карта признаков может быть связана с ядром, на самом деле несколько карт признаков могут быть связаны с данным воспроизводящим ядром. Например, карта удовлетворяет свойству для произвольного воспроизводящего ядра.${\displaystyle F}$${\displaystyle \mathbb {R} ^{m}}$$${\displaystyle K(x,z)=\sum _{i=1}^{\infty }\sigma _{i}e_{i}(x)e_{i}(z)}$$${\displaystyle e_{i}(x)}$${\displaystyle \ell ^{2}(X)}$${\displaystyle \sigma _{i}\in \mathbb {R} }$${\displaystyle \varphi (x)}$${\displaystyle \varphi _{i}(x)={\sqrt {\sigma _{i}}}e_{i}(x)}$${\displaystyle K(x,z)=\langle \varphi (x),\varphi (z)\rangle }$${\displaystyle \varphi (x)=K_{x}}$${\displaystyle K(x,z)=\langle \varphi (x),\varphi (z)\rangle }$

Наименьшие квадраты можно рассматривать как максимизацию правдоподобия при предположении нормально распределенных остатков. Это связано с тем, что показатель гауссовского распределения является квадратичным в данных, как и целевая функция наименьших квадратов. В этой структуре термины регуляризации RLS можно понимать как кодирование априорных значений на . ^[1] Например, регуляризация Тихонова соответствует нормально распределенному априорному значению на , центрированному на 0. Чтобы увидеть это, сначала отметим, что цель OLS пропорциональна логарифмической функции правдоподобия, когда каждая выборка нормально распределена вокруг . Затем заметим, что нормальный априор на , центрированный на 0, имеет логарифмическую вероятность вида , где и являются константами, которые зависят от дисперсии априорного значения и не зависят от . Таким образом, минимизация логарифма правдоподобия, умноженного на априорное значение, эквивалентна минимизации суммы функции потерь OLS и члена регуляризации гребневой регрессии.${\displaystyle w}$${\displaystyle w}$${\displaystyle y^{i}}$${\displaystyle w^{\mathsf {T}}\cdot x^{i}}$${\displaystyle w}$$${\displaystyle \log P(w)=q-\alpha \sum _{j=1}^{d}w_{j}^{2}}$$${\displaystyle q}$${\displaystyle \alpha }$${\displaystyle w}$

Это дает более интуитивное толкование того, почему регуляризация Тихонова приводит к единственному решению задачи наименьших квадратов: существует бесконечно много векторов, удовлетворяющих ограничениям, полученным из данных, но поскольку мы подходим к задаче с априорным убеждением, которое нормально распределено вокруг начала координат, мы в конечном итоге выберем решение с учетом этого ограничения.${\displaystyle w}$${\displaystyle w}$

Другие методы регуляризации соответствуют различным априорам. Более подробную информацию см. в списке ниже.

Одним из особенно распространенных вариантов для штрафной функции является квадрат нормы , т. е., и решение находится как Наиболее распространенные названия для этого — регуляризация Тихонова и гребневая регрессия . Она допускает решение в замкнутой форме для : Название гребневая регрессия намекает на тот факт, что этот термин добавляет положительные элементы вдоль диагонального «гребня» матрицы ковариации выборки .${\displaystyle R}$${\displaystyle \ell _{2}}$$${\displaystyle R(w)=\sum _{j=1}^{d}w_{j}^{2}}$$$${\displaystyle {\hat {w}}={\text{argmin}}_{w\in \mathbb {R} ^{d}}{\frac {1}{n}}\left\|Y-Xw\right\|_{2}^{2}+\lambda \sum _{j=1}^{d}\left|w_{j}\right|^{2}}$$${\displaystyle w}$$${\displaystyle {\hat {w}}=\left({\frac {1}{n}}X^{\mathsf {T}}X+\lambda I\right)^{-1}{\frac {1}{n}}X^{\mathsf {T}}Y=\left(X^{\mathsf {T}}X+n\lambda I\right)^{-1}X^{\mathsf {T}}Y}$$${\displaystyle \lambda I}$ ${\displaystyle {\frac {1}{n}}X^{\mathsf {T}}X}$

Когда , т. е. в случае обычных наименьших квадратов , условие, которое приводит к тому, что матрица ковариации выборки не имеет полного ранга и поэтому не может быть инвертирована для получения единственного решения. Вот почему может быть бесконечное множество решений задачи обычных наименьших квадратов , когда . Однако, когда , т. е. когда используется гребневая регрессия, добавление к матрице ковариации выборки гарантирует, что все ее собственные значения будут строго больше 0. Другими словами, она становится обратимой, и тогда решение становится единственным.${\displaystyle \lambda =0}$${\displaystyle d>n}$ ${\displaystyle {\frac {1}{n}}X^{\mathsf {T}}X}$${\displaystyle d>n}$${\displaystyle \lambda >0}$${\displaystyle \lambda I}$

По сравнению с обычными наименьшими квадратами, гребневая регрессия не является несмещенной. Она принимает смещение для уменьшения дисперсии и среднеквадратической ошибки .

Если мы хотим найти различные значения коэффициента регуляризации (который мы обозначим ), мы можем использовать разложение по собственным значениям ковариационной матрицы , где столбцы являются собственными векторами , а - ее собственными значениями.${\displaystyle {\hat {w}}}$${\displaystyle \lambda }$${\displaystyle {\hat {w}}(\lambda )}$$${\displaystyle {\frac {1}{n}}X^{\mathsf {T}}X=Q{\text{diag}}(\alpha _{1},\ldots ,\alpha _{d})Q^{\mathsf {T}}}$$${\displaystyle Q\in \mathbb {R} ^{d\times d}}$${\displaystyle {\frac {1}{n}}X^{\mathsf {T}}X}$${\displaystyle \alpha _{1},\ldots ,\alpha _{d}}$${\displaystyle d}$

Решение тогда дается формулой :$${\displaystyle {\hat {w}}(\lambda )=Q{\text{diag}}^{-1}(\alpha _{1}+\lambda ,\ldots ,\alpha _{d}+\lambda )Z}$$$${\displaystyle Z={\frac {1}{n}}Q^{\mathsf {T}}X^{\mathsf {T}}Y=[Z_{1},\ldots ,Z_{d}]^{\mathsf {T}}.}$$

Используя приведенные выше результаты, алгоритм нахождения оценки максимального правдоподобия можно определить следующим образом: ^[2]${\displaystyle \lambda }$

$${\displaystyle \lambda \leftarrow {\frac {1}{n}}\sum _{i=1}^{d}{\frac {\alpha _{i}}{\alpha _{i}+\lambda }}\left[{\frac {{\frac {1}{n}}\|Y-X{\hat {w}}(\lambda )\|^{2}}{\|{\hat {w}}(\lambda )\|^{2}}}+\lambda \right].}$$

Этот алгоритм для автоматической (в отличие от эвристической) регуляризации получается как решение с фиксированной точкой при оценке максимального правдоподобия параметров. ^[2] Хотя гарантии сходимости не предоставляются, примеры показывают, что удовлетворительное решение может быть получено после пары итераций.

Разложение по собственным значениям упрощает вывод алгоритма, а также упрощает вычисления:$${\displaystyle \|{\hat {w}}(\lambda )\|^{2}=\sum _{i=1}^{d}{\frac {|Z_{i}|^{2}}{(\alpha _{i}+\lambda )^{2}}},}$$$${\displaystyle {\frac {1}{n}}\|Y-X{\hat {w}}(\lambda )\|^{2}=\sum _{i=1}^{d}{\frac {|Z_{i}|^{2}}{\alpha _{i}+\lambda }}.}$$

Альтернативный алгоритм с фиксированной точкой, известный как алгоритм Гулла-Маккея ^[2], обычно имеет более быструю сходимость, но может использоваться только если . Таким образом, хотя его можно использовать без проблем для осторожность рекомендуется для .$${\displaystyle \lambda \leftarrow {\frac {{\frac {1}{n}}\|Y-X{\hat {w}}(\lambda )\|^{2}}{\left[{\frac {n}{\sum _{i=1}^{d}{\frac {\alpha _{i}}{\alpha _{i}+\lambda }}}}-1\right]\|{\hat {w}}(\lambda )\|^{2}}}}$$${\displaystyle n>\sum _{i=1}^{d}{\frac {\alpha _{i}}{\alpha _{i}+\lambda }}}$${\displaystyle n>d}$${\displaystyle n<d}$

Метод наименьшего абсолютного выбора и сжатия (LASSO) является еще одним популярным выбором. В регрессии лассо функция штрафа лассо является нормой , т.е.${\displaystyle R}$${\displaystyle \ell _{1}}$$${\displaystyle R(w)=\sum _{j=1}^{d}\left|w_{j}\right|}$$$${\displaystyle {\frac {1}{n}}\left\|Y-Xw\right\|_{2}^{2}+\lambda \sum _{j=1}^{d}|w_{j}|\rightarrow \min _{w\in \mathbb {R} ^{d}}}$$

Обратите внимание, что функция штрафа лассо выпукла, но не строго выпукла. В отличие от регуляризации Тихонова , эта схема не имеет удобного решения в замкнутой форме: вместо этого решение обычно находится с помощью квадратичного программирования или более общих методов выпуклой оптимизации , а также с помощью специальных алгоритмов, таких как алгоритм регрессии наименьшего угла .

Важное различие между регрессией лассо и регуляризацией Тихонова заключается в том, что регрессия лассо заставляет больше элементов из фактически равняться 0, чем в противном случае. Напротив, хотя регуляризация Тихонова заставляет элементы быть малыми, она не заставляет больше из них быть равными 0, чем было бы в противном случае. Таким образом, регуляризация ЛАССО более подходит, чем регуляризация Тихонова, в случаях, когда мы ожидаем, что число ненулевых элементов будет малым, а регуляризация Тихонова более подходит, когда мы ожидаем, что элементы из будут в целом малыми, но не обязательно нулевыми. Какой из этих режимов более уместен, зависит от конкретного набора данных под рукой.${\displaystyle w}$${\displaystyle w}$${\displaystyle w}$${\displaystyle w}$

Помимо описанного выше выбора признаков, LASSO имеет некоторые ограничения. Гребневая регрессия обеспечивает лучшую точность в случае сильно коррелированных переменных. ^[3] В другом случае, LASSO выбирает большинство переменных. Более того, LASSO имеет тенденцию выбирать некоторые произвольные переменные из группы сильно коррелированных выборок, поэтому эффект группировки отсутствует.${\displaystyle n>d}$${\displaystyle n<d}$${\displaystyle n}$

$${\displaystyle {\frac {1}{n}}\left\|Y-Xw\right\|_{2}^{2}+\lambda \left\|w_{j}\right\|_{0}\rightarrow \min _{w\in \mathbb {R} ^{d}}}$$Самый экстремальный способ принудительного обеспечения разреженности — сказать, что фактическая величина коэффициентов не имеет значения; скорее, единственное, что определяет сложность — это количество ненулевых записей. Это соответствует установке в качестве нормы . Эта функция регуляризации, хотя и привлекательна для разреженности, которую она гарантирует, очень сложна для решения, поскольку для этого требуется оптимизация функции, которая даже не является слабо выпуклой . Лассо-регрессия — это минимально возможное ослабление штрафования, которое приводит к слабо выпуклой задаче оптимизации.${\displaystyle w}$${\displaystyle w}$${\displaystyle R(w)}$${\displaystyle \ell _{0}}$${\displaystyle w}$${\displaystyle \ell _{0}}$

Для любого неотрицательного и цель имеет следующий вид:${\displaystyle \lambda _{1}}$${\displaystyle \lambda _{2}}$$${\displaystyle {\frac {1}{n}}\left\|Y-Xw\right\|_{2}^{2}+\lambda _{1}\sum _{j=1}^{d}\left|w_{j}\right|+\lambda _{2}\sum _{j=1}^{d}\left|w_{j}\right|^{2}\rightarrow \min _{w\in \mathbb {R} ^{d}}}$$

Пусть , тогда решение задачи минимизации описывается как: для некоторого .${\displaystyle \alpha ={\frac {\lambda _{1}}{\lambda _{1}+\lambda _{2}}}}$$${\displaystyle {\frac {1}{n}}\left\|Y-Xw\right\|_{2}^{2}\rightarrow \min _{w\in \mathbb {R} ^{d}}{\text{ s.t. }}(1-\alpha )\left\|w\right\|_{1}+\alpha \left\|w\right\|_{2}\leq t}$$${\displaystyle t}$

Рассмотрим как функцию штрафа эластичной сети.${\displaystyle (1-\alpha )\left\|w\right\|_{1}+\alpha \left\|w\right\|_{2}\leq t}$

Когда эластичная сеть становится регрессией гребня, тогда как она становится Лассо. Штрафная функция эластичной сети не имеет первой производной в 0 и является строго выпуклой, принимая свойства как регрессии лассо , так и регрессии гребня .${\displaystyle \alpha =1}$${\displaystyle \alpha =0}$${\displaystyle \forall \alpha \in (0,1]}$${\displaystyle \forall \alpha >0}$

Одним из основных свойств Elastic Net является то, что она может выбирать группы коррелированных переменных. Разница между весовыми векторами выборок и определяется как: где . ^[4]${\displaystyle x_{i}}$${\displaystyle x_{j}}$$${\displaystyle \left|w_{i}^{*}(\lambda _{1},\lambda _{2})-w_{j}^{*}(\lambda _{1},\lambda _{2})\right|\leq {\frac {\sum _{i=1}^{n}|y_{i}|}{\lambda _{2}}}{\sqrt {2(1-\rho _{ij})}},}$$${\displaystyle \rho _{ij}=x_{i}^{\mathsf {T}}x_{j}}$

Если и сильно коррелируют ( ), весовые векторы очень близки. В случае отрицательно коррелированных выборок ( ) выборки могут быть взяты. Подводя итог, для сильно коррелированных переменных весовые векторы, как правило, равны с точностью до знака в случае отрицательно коррелированных переменных.${\displaystyle x_{i}}$${\displaystyle x_{j}}$${\displaystyle \rho _{ij}\to 1}$${\displaystyle \rho _{ij}\to -1}$${\displaystyle -x_{j}}$

Ниже приведен список возможных вариантов функции регуляризации , а также название каждого из них, соответствующее априорное распределение, если оно простое, и способы вычисления решения результирующей задачи оптимизации.${\displaystyle R(\cdot )}$

Имя	Функция регуляризации	Соответствующий предшествующий	Методы решения
Регуляризация Тихонова	${\displaystyle \left\|w\right\|_{2}^{2}}$	Нормальный	Закрытая форма
Лассо-регрессия	${\displaystyle \left\|w\right\|_{1}}$	Лаплас	Проксимальный градиентный спуск , регрессия с наименьшим углом
${\displaystyle \ell _{0}}$пенализация	${\displaystyle \left\|w\right\|_{0}}$	–	Прямой отбор , обратное исключение , использование априорных данных, таких как пик и слэб
Эластичные сетки	${\displaystyle \beta \left\|w\right\|_{1}+(1-\beta )\left\|w\right\|_{2}^{2}}$	Нормальная и Лапласа смесь	Проксимальный градиентный спуск
Регуляризация полной вариации	${\displaystyle \sum _{j=1}^{d-1}\left|w_{j+1}-w_{j}\right|}$	–	Метод Сплита–Брегмана и другие

• Наименьшие квадраты
• Регуляризация в математике.
• Ошибка обобщения — одна из причин использования регуляризации.
• Регуляризация Тихонова
• Лассо-регрессия
• Эластичная сетевая регуляризация
• Регрессия наименьшего угла

• http://www.stanford.edu/~hastie/TALKS/enet_talk.pdf Регуляризация и выбор переменных с помощью эластичной сети (презентация)
• Регуляризованные наименьшие квадраты и опорные векторные машины (презентация)
• Регуляризованный метод наименьших квадратов (презентация)