Байесовская интерпретация регуляризации ядра

Эта статья может быть слишком технической для понимания большинства читателей . Пожалуйста, помогите улучшить ее, чтобы сделать ее понятной для неспециалистов , не удаляя технические детали. ( Май 2012 ) ( Узнайте, как и когда удалять это сообщение )

В байесовской статистике для машинного обучения методы ядра возникают из предположения о внутреннем пространстве произведения или структуре подобия на входах. Для некоторых таких методов, таких как машины опорных векторов (SVM), исходная формулировка и ее регуляризация не были байесовскими по своей природе. Полезно понимать их с байесовской точки зрения. Поскольку ядра не обязательно являются положительно полуопределенными, базовая структура может быть не внутренним пространством произведения, а вместо этого более общими воспроизводящими ядрами гильбертовыми пространствами . В байесовской вероятности методы ядра являются ключевым компонентом гауссовских процессов , где функция ядра известна как функция ковариации. Методы ядра традиционно использовались в задачах контролируемого обучения , где входное пространство обычно является пространством векторов , а выходное пространство — пространством скаляров . Совсем недавно эти методы были распространены на задачи, которые имеют дело с несколькими выходами, такими как многозадачное обучение . ^[1]

Математическая эквивалентность между регуляризацией и байесовской точкой зрения легко доказывается в случаях, когда воспроизводящее ядро ​​гильбертова пространства является конечномерным . Бесконечномерный случай поднимает тонкие математические вопросы; мы рассмотрим здесь конечномерный случай. Мы начнем с краткого обзора основных идей, лежащих в основе методов ядра для скалярного обучения, и кратко введем понятия регуляризации и гауссовских процессов. Затем мы покажем, как обе точки зрения приходят к по существу эквивалентным оценкам , и покажем связь, которая связывает их вместе.

Классическая задача контролируемого обучения требует оценки выходных данных для некоторой новой входной точки путем обучения скалярной оценки на основе обучающего набора, состоящего из пар вход-выход, . ^[2] При наличии симметричной и положительной двумерной функции , называемой ядром , одна из самых популярных оценок в машинном обучении задается как${\displaystyle \mathbf {x} '}$${\displaystyle {\hat {f}}(\mathbf {x} ')}$${\displaystyle S}$${\displaystyle n}$${\displaystyle S=(\mathbf {X},\mathbf {Y})=(\mathbf {x} _{1},y_{1}),\ldots ,(\mathbf {x} _{n}, y_{n})}$${\displaystyle k(\cdot ,\cdot )}$

${\displaystyle {\hat {f}}(\mathbf {x} ')=\mathbf {k} ^{\top }(\mathbf {K} +\lambda n\mathbf {I})^{- 1} \mathbf {Y} ,}$

1

где — матрица ядра с элементами , и . Мы увидим, как эта оценка может быть получена как с точки зрения регуляризации, так и с точки зрения байесовского подхода.${\displaystyle \mathbf {K} \equiv k(\mathbf {X} ,\mathbf {X} )}$${\ displaystyle \ mathbf {K} _ {ij} = k (\ mathbf {x} _ {i}, \ mathbf {x} _ {j})}$${\displaystyle \mathbf {k} =[k(\mathbf {x} _{1},\mathbf {x} '),\ldots ,k(\mathbf {x} _{n},\mathbf {x} ')]^{\top }}$${\displaystyle \mathbf {Y} =[y_{1},\ldots,y_{n}]^{\top }}$

Основное предположение в перспективе регуляризации заключается в том, что набор функций предполагается принадлежащим воспроизводящему ядру гильбертова пространства . ^{[2] [3] [4] [5]}${\displaystyle {\mathcal {F}}}$${\displaystyle {\mathcal {H}}_{k}}$

Гильбертово пространство воспроизводящего ядра (RKHS) — это гильбертово пространство функций, определяемое симметричной положительно определенной функцией, называемой воспроизводящим ядром, такой, что функция принадлежит для всех . ^{[6] [7] [8]} Существует три основных свойства, которые делают RKHS привлекательным:${\displaystyle {\mathcal {H}}_{k}}$ ${\displaystyle k:{\mathcal {X}}\times {\mathcal {X}}\rightarrow \mathbb {R} }$${\displaystyle k(\mathbf {x} ,\cdot )}$${\displaystyle {\mathcal {H}}_{k}}$${\displaystyle \mathbf {x} \in {\mathcal {X}}}$

1. Воспроизводящее свойство , дающее название пространству,

${\displaystyle f(\mathbf {x}) =\langle f,k(\mathbf {x},\cdot)\rangle _ {k},\quad \forall \ f\in {\mathcal {H}}_ {к},}$

где находится внутренний продукт в .${\displaystyle \langle \cdot, \cdot \rangle _ {k}}$${\displaystyle {\mathcal {H}}_{k}}$

2. Функции в RKHS находятся в замыкании линейной комбинации ядра в заданных точках,

${\displaystyle f(\mathbf {x} )=\sum _{i}k(\mathbf {x} _{i},\mathbf {x} )c_{i}}$.

Это позволяет строить в единой структуре как линейные, так и обобщенные линейные модели.

3. Квадрат нормы в RKHS можно записать как

${\displaystyle \|f\|_{k}^{2}=\sum _{i,j}k(\mathbf {x} _{i},\mathbf {x} _{j})c_{i }c_{j}}$

и может рассматриваться как измерение сложности функции.

Оценка выводится как минимизатор регуляризованного функционала

${\displaystyle {\frac {1}{n}}\sum _{i=1}^{n}(f(\mathbf {x} _{i})-y_{i})^{2}+\ лямбда \|f\|_{k}^{2},}$

2

где и — норма в . Первый член в этом функционале, который измеряет среднее квадратов ошибок между и , называется эмпирическим риском и представляет собой стоимость, которую мы платим, прогнозируя истинное значение . Второй член в функционале — это квадрат нормы в RKHS, умноженный на вес , и служит для стабилизации проблемы ^{[3] [5],} а также для добавления компромисса между подгонкой и сложностью оценщика. ^[2] Вес , называемый регуляризатором , определяет степень, в которой нестабильность и сложность оценщика должны быть оштрафованы (более высокий штраф за увеличение значения ).${\displaystyle f\in {\mathcal {H}}_{k}}$${\displaystyle \|\cdot \|_{k}}$${\displaystyle {\mathcal {H}}_{k}}$${\displaystyle f(\mathbf {x} _{i})}$${\displaystyle y_{i}}$${\displaystyle f(\mathbf {x} _{i})}$${\displaystyle y_{i}}$${\displaystyle \лямбда}$${\displaystyle \лямбда}$${\displaystyle \лямбда}$

Явная форма оценщика в уравнении ( 1 ) выводится в два этапа. Во-первых, теорема о репрезентаторе ^{[9] [10] [11]} утверждает, что минимизатор функционала ( 2 ) всегда может быть записан как линейная комбинация ядер, центрированных в точках обучающего множества,

${\displaystyle {\hat {f}}(\mathbf {x} ')=\sum _{i=1}^{n}c_{i}k(\mathbf {x} _{i},\mathbf {x} ')=\mathbf {k} ^{\top }\mathbf {c} ,}$

3

для некоторых . Явный вид коэффициентов можно найти, подставив в функционал ( 2 ). Для функции вида в уравнении ( 3 ) имеем, что${\displaystyle \mathbf {c} \in \mathbb {R} ^{n}}$${\displaystyle \mathbf {c} =[c_{1},\ldots ,c_{n}]^{\top }}$${\displaystyle f(\cdot )}$

${\displaystyle {\begin{aligned}\|f\|_{k}^{2}&=\langle f,f\rangle _{k},\\&=\left\langle \sum _{i=1}^{N}c_{i}k(\mathbf {x} _{i},\cdot ),\sum _{j=1}^{N}c_{j}k(\mathbf {x} _{j},\cdot )\right\rangle _{k},\\&=\sum _{i=1}^{N}\sum _{j=1}^{N}c_{i}c_{j}\langle k(\mathbf {x} _{i},\cdot ),k(\mathbf {x} _{j},\cdot )\rangle _{k},\\&=\sum _{i=1}^{N}\sum _{j=1}^{N}c_{i}c_{j}k(\mathbf {x} _{i},\mathbf {x} _{j}),\\&=\mathbf {c} ^{\top }\mathbf {K} \mathbf {c} .\end{aligned}}}$

Мы можем переписать функционал ( 2 ) как

${\displaystyle {\frac {1}{n}}\|\mathbf {y} -\mathbf {K} \mathbf {c} \|^{2}+\lambda \mathbf {c} ^{\top }\mathbf {K} \mathbf {c} .}$

Этот функционал выпуклый по и поэтому мы можем найти его минимум, установив градиент по равным нулю,${\displaystyle \mathbf {c} }$${\displaystyle \mathbf {c} }$

${\displaystyle {\begin{aligned}-{\frac {1}{n}}\mathbf {K} (\mathbf {Y} -\mathbf {K} \mathbf {c} )+\lambda \mathbf {K} \mathbf {c} &=0,\\(\mathbf {K} +\lambda n\mathbf {I} )\mathbf {c} &=\mathbf {Y} ,\\\mathbf {c} &=(\mathbf {K} +\lambda n\mathbf {I} )^{-1}\mathbf {Y} .\end{aligned}}}$

Подставляя это выражение для коэффициентов в уравнении ( 3 ), получаем оценку, указанную ранее в уравнении ( 1 ),

${\displaystyle {\hat {f}}(\mathbf {x} ')=\mathbf {k} ^{\top }(\mathbf {K} +\lambda n\mathbf {I} )^{-1}\mathbf {Y} .}$

Понятие ядра играет решающую роль в байесовской вероятности как ковариационной функции стохастического процесса, называемого гауссовым процессом .

Как часть байесовского фреймворка, гауссовский процесс определяет априорное распределение , которое описывает априорные убеждения о свойствах моделируемой функции. Эти убеждения обновляются после учета данных наблюдений с помощью функции правдоподобия , которая связывает априорные убеждения с наблюдениями. Взятые вместе, априорное и правдоподобное приводят к обновленному распределению, называемому апостериорным распределением , которое обычно используется для прогнозирования тестовых случаев.

Гауссовский процесс (ГП) — это стохастический процесс, в котором любое конечное число случайных величин, которые выбираются, следуют совместному нормальному распределению . ^[12] Средний вектор и ковариационная матрица гауссовского распределения полностью определяют ГП. ГП обычно используются как априорное распределение для функций, и как таковые средний вектор и ковариационная матрица могут рассматриваться как функции, где ковариационная функция также называется ядром ГП . Пусть функция следует гауссовскому процессу со средней функцией и функцией ядра ,${\displaystyle f}$${\displaystyle m}$${\displaystyle k}$

${\displaystyle f\sim {\mathcal {GP}}(m,k).}$

С точки зрения базового гауссовского распределения, мы имеем это для любого конечного множества, если мы допустим , то${\displaystyle \mathbf {X} =\{\mathbf {x} _{i}\}_{i=1}^{n}}$${\displaystyle f(\mathbf {X} )=[f(\mathbf {x} _{1}),\ldots ,f(\mathbf {x} _{n})]^{\top }}$

${\displaystyle f(\mathbf {X} )\sim {\mathcal {N}}(\mathbf {m} ,\mathbf {K} ),}$

где — средний вектор, а — ковариационная матрица многомерного гауссовского распределения.${\displaystyle \mathbf {m} =m(\mathbf {X} )=[m(\mathbf {x} _{1}),\ldots ,m(\mathbf {x} _{N})]^{\top }}$${\displaystyle \mathbf {K} =k(\mathbf {X} ,\mathbf {X} )}$

В контексте регрессии обычно предполагается, что функция правдоподобия имеет гауссовское распределение, а наблюдения являются независимыми и одинаково распределенными (iid),

${\displaystyle p(y|f,\mathbf {x} ,\sigma ^{2})={\mathcal {N}}(f(\mathbf {x} ),\sigma ^{2}).}$

Это предположение соответствует тому, что наблюдения искажены гауссовым шумом с нулевым средним и дисперсией . Предположение iid позволяет факторизовать функцию правдоподобия по точкам данных, учитывая набор входных данных и дисперсию шума , и, таким образом, апостериорное распределение может быть вычислено аналитически. Для тестового входного вектора , учитывая обучающие данные , апостериорное распределение задается как${\displaystyle \sigma ^{2}}$${\displaystyle \mathbf {X} }$${\displaystyle \sigma ^{2}}$${\displaystyle \mathbf {x} '}$${\displaystyle S=\{\mathbf {X} ,\mathbf {Y} \}}$

${\displaystyle p(f(\mathbf {x} ')|S,\mathbf {x} ',{\boldsymbol {\phi }})={\mathcal {N}}(m(\mathbf {x} '),\sigma ^{2}(\mathbf {x} ')),}$

где обозначает набор параметров, которые включают дисперсию шума и любые параметры из ковариационной функции и где${\displaystyle {\boldsymbol {\phi }}}$${\displaystyle \sigma ^{2}}$${\displaystyle k}$

${\displaystyle {\begin{aligned}m(\mathbf {x} ')&=\mathbf {k} ^{\top }(\mathbf {K} +\sigma ^{2}\mathbf {I} )^{-1}\mathbf {Y} ,\\\sigma ^{2}(\mathbf {x} ')&=k(\mathbf {x} ',\mathbf {x} ')-\mathbf {k} ^{\top }(\mathbf {K} +\sigma ^{2}\mathbf {I} )^{-1}\mathbf {k} .\end{aligned}}}$

Связь между теорией регуляризации и байесовской теорией может быть достигнута только в случае конечномерного RKHS . При этом предположении теория регуляризации и байесовская теория связаны посредством предсказания гауссовского процесса. ^{[3] [12] [13]}

В конечномерном случае каждый RKHS можно описать в терминах карты признаков, такой что ^[2]${\displaystyle \Phi :{\mathcal {X}}\rightarrow \mathbb {R} ^{p}}$

${\displaystyle k(\mathbf {x} ,\mathbf {x} ')=\sum _{i=1}^{p}\Phi ^{i}(\mathbf {x} )\Phi ^{i}(\mathbf {x} ').}$

Функции в RKHS с ядром могут быть записаны как${\displaystyle \mathbf {K} }$

${\displaystyle f_{\mathbf {w} }(\mathbf {x} )=\sum _{i=1}^{p}\mathbf {w} ^{i}\Phi ^{i}(\mathbf {x} )=\langle \mathbf {w} ,\Phi (\mathbf {x} )\rangle ,}$

и у нас также есть это

${\displaystyle \|f_{\mathbf {w} }\|_{k}=\|\mathbf {w} \|.}$

Теперь мы можем построить гауссовский процесс, предположив, что он распределен в соответствии с многомерным гауссовым распределением с нулевым средним и единичной ковариационной матрицей,${\displaystyle \mathbf {w} =[w^{1},\ldots ,w^{p}]^{\top }}$

${\displaystyle \mathbf {w} \sim {\mathcal {N}}(0,\mathbf {I} )\propto \exp(-\|\mathbf {w} \|^{2}).}$

Если мы предположим гауссовское правдоподобие, то получим

${\displaystyle P(\mathbf {Y} |\mathbf {X} ,f)={\mathcal {N}}(f(\mathbf {X} ),\sigma ^{2}\mathbf {I} )\propto \exp \left(-{\frac {1}{\sigma ^{2}}}\|f_{\mathbf {w} }(\mathbf {X} )-\mathbf {Y} \|^{2}\right),}$

где . Результирующее апостериорное распределение определяется как${\displaystyle f_{\mathbf {w} }(\mathbf {X} )=(\langle \mathbf {w} ,\Phi (\mathbf {x} _{1})\rangle ,\ldots ,\langle \mathbf {w} ,\Phi (\mathbf {x} _{n}\rangle )}$

${\displaystyle P(f|\mathbf {X} ,\mathbf {Y} )\propto \exp \left(-{\frac {1}{\sigma ^{2}}}\|f_{\mathbf {w} }(\mathbf {X} )-\mathbf {Y} \|_{n}^{2}+\|\mathbf {w} \|^{2}\right)}$

Мы видим, что оценка максимального апостериорного распределения (MAP) эквивалентна задаче минимизации, определяющей регуляризацию Тихонова , где в байесовском случае параметр регуляризации связан с дисперсией шума.

С философской точки зрения функция потерь в регуляризации играет иную роль, чем функция правдоподобия в байесовской настройке. В то время как функция потерь измеряет ошибку, которая возникает при прогнозировании вместо , функция правдоподобия измеряет, насколько вероятны наблюдения из модели, которая предполагалась истинной в генеративном процессе. Однако с математической точки зрения формулировки регуляризации и байесовской фреймворков делают функцию потерь и функцию правдоподобия одинаковой математической ролью содействия выводу функций, которые максимально приближают метки .${\displaystyle f(\mathbf {x} )}$${\displaystyle y}$${\displaystyle f}$${\displaystyle y}$

• Регуляризованный метод наименьших квадратов
• Байесовская линейная регрессия
• Байесовская интерпретация регуляризации Тихонова