Байесовская линейная регрессия

Часть серии статей о
Байесовская статистика
Апостериор = Вероятность × Априор ÷ Доказательства
Фон
Байесовский вывод Байесовская вероятность Теорема Байеса Теорема Бернштейна–фон Мизеса Слаженность Теорема Кокса Правление Кромвеля Принцип правдоподобия Принцип безразличия Принцип максимальной энтропии
Модельное строительство
Сопряженный априор Линейная регрессия Эмпирический Байес Иерархическая модель
Апостериорное приближение
Марковская цепь Монте-Карло Приближение Лапласа Интегрированные вложенные приближения Лапласа Вариационный вывод Приблизительное байесовское вычисление
Оценщики
Байесовская оценка Достоверный интервал Максимальная апостериорная оценка
Приближение доказательств
Нижняя граница доказательств Вложенная выборка
Оценка модели
Фактор Байеса Усреднение модели Апостериорный предиктивный
Математический портал
в т е

Байесовская линейная регрессия — это тип условного моделирования , в котором среднее значение одной переменной описывается линейной комбинацией других переменных с целью получения апостериорной вероятности коэффициентов регрессии (а также других параметров, описывающих распределение регрессанта) и, в конечном итоге, допускает вневыборочное предсказание регрессанта (часто обозначаемое ) в зависимости от наблюдаемых значений регрессоров (обычно ). Простейшей и наиболее широко используемой версией этой модели является нормальная линейная модель , в которой задано гауссовское распределение . В этой модели и при определенном выборе априорных вероятностей для параметров — так называемых сопряженных априорных — апостериорную вероятность можно найти аналитически. При более произвольно выбранных априорных вероятностях апостериорные вероятности обычно приходится аппроксимировать.${\displaystyle y}$${\displaystyle X}$${\displaystyle y}$${\displaystyle X}$

Рассмотрим стандартную задачу линейной регрессии , в которой для мы указываем среднее значение условного распределения заданного вектора -предиктора :${\displaystyle i=1,\ldots ,n}$${\displaystyle y_{i}}$${\displaystyle k\times 1}$${\displaystyle \mathbf {x} _{i}}$$${\displaystyle y_{i}=\mathbf {x} _{i}^{\mathsf {T}}{\boldsymbol {\beta }}+\varepsilon _{i},}$$

где — вектор, а — независимые и одинаково нормально распределенные случайные величины:${\displaystyle {\boldsymbol {\beta }}}$${\displaystyle k\times 1}$${\displaystyle \varepsilon _{i}}$ $${\displaystyle \varepsilon _{i}\sim N(0,\sigma ^{2}).}$$

Это соответствует следующей функции правдоподобия :

$${\displaystyle \rho (\mathbf {y} \mid \mathbf {X} ,{\boldsymbol {\beta }},\sigma ^{2})\propto (\sigma ^{2})^{-n/2}\exp \left(-{\frac {1}{2\sigma ^{2}}}(\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }})^{\mathsf {T}}(\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }})\right).}$$

Для оценки вектора коэффициентов с использованием псевдообратной матрицы Мура–Пенроуза используется обычное решение по методу наименьших квадратов :$${\displaystyle {\hat {\boldsymbol {\beta }}}=(\mathbf {X} ^{\mathsf {T}}\mathbf {X} )^{-1}\mathbf {X} ^{\mathsf {T}}\mathbf {y} }$$

где — матрица плана , каждая строка которой представляет собой вектор-предиктор ; — вектор- столбец .${\displaystyle \mathbf {X} }$${\displaystyle n\times k}$ ${\displaystyle \mathbf {x} _{i}^{\mathsf {T}}}$${\displaystyle \mathbf {y} }$${\displaystyle n}$${\displaystyle [y_{1}\;\cdots \;y_{n}]^{\mathsf {T}}}$

Это частотный подход, и он предполагает, что имеется достаточно измерений, чтобы сказать что-то осмысленное о . В байесовском подходе данные дополняются дополнительной информацией в форме априорного распределения вероятностей . Априорное убеждение о параметрах объединяется с функцией правдоподобия данных в соответствии с теоремой Байеса, чтобы получить апостериорное убеждение о параметрах и . Априорное может принимать различные функциональные формы в зависимости от домена и информации, которая доступна априори .${\displaystyle {\boldsymbol {\beta }}}$${\displaystyle {\boldsymbol {\beta }}}$${\displaystyle \sigma }$

Поскольку данные включают в себя и , фокус только на распределении условного на потребности обоснования. Фактически, «полный» байесовский анализ потребовал бы совместного правдоподобия вместе с априорным , где символизирует параметры распределения для . Только при предположении (слабой) экзогенности совместное правдоподобие может быть учтено в . ^[1] Последняя часть обычно игнорируется при предположении непересекающихся наборов параметров. Более того, при классических предположениях считаются выбранными (например, в спланированном эксперименте) и, следовательно, имеют известную вероятность без параметров. ^[2]${\displaystyle \mathbf {y} }$${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {y} }$${\displaystyle \mathbf {X} }$${\displaystyle \rho (\mathbf {y} ,\mathbf {X} \mid {\boldsymbol {\beta }},\sigma ^{2},\gamma )}$${\displaystyle \rho (\beta ,\sigma ^{2},\gamma )}$${\displaystyle \gamma }$${\displaystyle \mathbf {X} }$${\displaystyle \rho (\mathbf {y} \mid {\boldsymbol {\mathbf {X} }},\beta ,\sigma ^{2})\rho (\mathbf {X} \mid \gamma )}$${\displaystyle \mathbf {X} }$

Для произвольного априорного распределения может не быть аналитического решения для апостериорного распределения . В этом разделе мы рассмотрим так называемое сопряженное априорное распределение , для которого апостериорное распределение может быть получено аналитически.

Априорная функция сопряжена с этой функцией правдоподобия, если она имеет ту же функциональную форму относительно и . Поскольку логарифм правдоподобия является квадратичным по , логарифм правдоподобия переписывается таким образом, что правдоподобие становится нормальным по . Запишите${\displaystyle \rho ({\boldsymbol {\beta }},\sigma ^{2})}$${\displaystyle {\boldsymbol {\beta }}}$${\displaystyle \sigma }$${\displaystyle {\boldsymbol {\beta }}}$${\displaystyle ({\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}})}$

$${\displaystyle {\begin{aligned}(\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }})^{\mathsf {T}}(\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }})&=[(\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}})+(\mathbf {X} {\hat {\boldsymbol {\beta }}}-\mathbf {X} {\boldsymbol {\beta }})]^{\mathsf {T}}[(\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}})+(\mathbf {X} {\hat {\boldsymbol {\beta }}}-\mathbf {X} {\boldsymbol {\beta }})]\\&=(\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}})^{\mathsf {T}}(\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}})+({\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}})^{\mathsf {T}}(\mathbf {X} ^{\mathsf {T}}\mathbf {X} )({\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}})+\underbrace {2(\mathbf {X} {\hat {\boldsymbol {\beta }}}-\mathbf {X} {\boldsymbol {\beta }})^{\mathsf {T}}(\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}})} _{=\ 0}\\&=(\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}})^{\mathsf {T}}(\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}})+({\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}})^{\mathsf {T}}(\mathbf {X} ^{\mathsf {T}}\mathbf {X} )({\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}})\,.\end{aligned}}}$$

Теперь вероятность записывается как где — число коэффициентов регрессии.$${\displaystyle \rho (\mathbf {y} |\mathbf {X} ,{\boldsymbol {\beta }},\sigma ^{2})\propto (\sigma ^{2})^{-{\frac {v}{2}}}\exp \left(-{\frac {vs^{2}}{2{\sigma }^{2}}}\right)(\sigma ^{2})^{-{\frac {n-v}{2}}}\exp \left(-{\frac {1}{2{\sigma }^{2}}}({\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}})^{\mathsf {T}}(\mathbf {X} ^{\mathsf {T}}\mathbf {X} )({\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}})\right),}$$$${\displaystyle vs^{2}=(\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}})^{\mathsf {T}}(\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}})\quad {\text{ and }}\quad v=n-k,}$$${\displaystyle k}$

Это предполагает форму для априорного распределения: где - обратное гамма-распределение$${\displaystyle \rho ({\boldsymbol {\beta }},\sigma ^{2})=\rho (\sigma ^{2})\rho ({\boldsymbol {\beta }}\mid \sigma ^{2}),}$$${\displaystyle \rho (\sigma ^{2})}$$${\displaystyle \rho (\sigma ^{2})\propto (\sigma ^{2})^{-{\frac {v_{0}}{2}}-1}\exp \left(-{\frac {v_{0}s_{0}^{2}}{2\sigma ^{2}}}\right).}$$

В обозначениях, введенных в статье об обратном гамма-распределении , это плотность распределения с и с и в качестве априорных значений и , соответственно. Эквивалентно, его также можно описать как масштабированное обратное распределение хи-квадрат ,${\displaystyle {\text{Inv-Gamma}}(a_{0},b_{0})}$${\displaystyle a_{0}={\tfrac {v_{0}}{2}}}$${\displaystyle b_{0}={\tfrac {1}{2}}v_{0}s_{0}^{2}}$${\displaystyle v_{0}}$${\displaystyle s_{0}^{2}}$${\displaystyle v}$${\displaystyle s^{2}}$${\displaystyle {\text{Scale-inv-}}\chi ^{2}(v_{0},s_{0}^{2}).}$

Далее условная априорная плотность является нормальным распределением ,${\displaystyle \rho ({\boldsymbol {\beta }}|\sigma ^{2})}$

$${\displaystyle \rho ({\boldsymbol {\beta }}\mid \sigma ^{2})\propto (\sigma ^{2})^{-k/2}\exp \left(-{\frac {1}{2\sigma ^{2}}}({\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{0})^{\mathsf {T}}\mathbf {\Lambda } _{0}({\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{0})\right).}$$

В обозначениях нормального распределения условное априорное распределение имеет вид${\displaystyle {\mathcal {N}}\left({\boldsymbol {\mu }}_{0},\sigma ^{2}{\boldsymbol {\Lambda }}_{0}^{-1}\right).}$

Теперь, когда априорное распределение определено, апостериорное распределение можно выразить как

$${\displaystyle {\begin{aligned}\rho ({\boldsymbol {\beta }},\sigma ^{2}\mid \mathbf {y} ,\mathbf {X} )&\propto \rho (\mathbf {y} \mid \mathbf {X} ,{\boldsymbol {\beta }},\sigma ^{2})\rho ({\boldsymbol {\beta }}\mid \sigma ^{2})\rho (\sigma ^{2})\\&\propto (\sigma ^{2})^{-n/2}\exp \left(-{\frac {1}{2{\sigma }^{2}}}(\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }})^{\mathsf {T}}(\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }})\right)(\sigma ^{2})^{-k/2}\exp \left(-{\frac {1}{2\sigma ^{2}}}({\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{0})^{\mathsf {T}}{\boldsymbol {\Lambda }}_{0}({\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{0})\right)(\sigma ^{2})^{-(a_{0}+1)}\exp \left(-{\frac {b_{0}}{\sigma ^{2}}}\right)\end{aligned}}}$$

При некоторой перестановке ^[3] апостериорную вероятность можно переписать так, чтобы апостериорное среднее вектора параметров можно было выразить через оценку наименьших квадратов и априорное среднее , причем сила априорной вероятности указывается матрицей априорной точности.${\displaystyle {\boldsymbol {\mu }}_{n}}$${\displaystyle {\boldsymbol {\beta }}}$${\displaystyle {\hat {\boldsymbol {\beta }}}}$${\displaystyle {\boldsymbol {\mu }}_{0}}$${\displaystyle {\boldsymbol {\Lambda }}_{0}}$

$${\displaystyle {\boldsymbol {\mu }}_{n}=(\mathbf {X} ^{\mathsf {T}}\mathbf {X} +{\boldsymbol {\Lambda }}_{0})^{-1}(\mathbf {X} ^{\mathsf {T}}\mathbf {X} {\hat {\boldsymbol {\beta }}}+{\boldsymbol {\Lambda }}_{0}{\boldsymbol {\mu }}_{0}).}$$

Чтобы подтвердить, что это действительно апостериорное среднее, квадратичные члены в экспоненте можно переставить в квадратичную форму в . ^[4]${\displaystyle {\boldsymbol {\mu }}_{n}}$${\displaystyle {\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{n}}$

$${\displaystyle (\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }})^{\mathsf {T}}(\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }})+({\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{0})^{\mathsf {T}}{\boldsymbol {\Lambda }}_{0}({\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{0})=({\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{n})^{\mathsf {T}}(\mathbf {X} ^{\mathsf {T}}\mathbf {X} +{\boldsymbol {\Lambda }}_{0})({\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{n})+\mathbf {y} ^{\mathsf {T}}\mathbf {y} -{\boldsymbol {\mu }}_{n}^{\mathsf {T}}(\mathbf {X} ^{\mathsf {T}}\mathbf {X} +{\boldsymbol {\Lambda }}_{0}){\boldsymbol {\mu }}_{n}+{\boldsymbol {\mu }}_{0}^{\mathsf {T}}{\boldsymbol {\Lambda }}_{0}{\boldsymbol {\mu }}_{0}.}$$

Теперь апостериорную вероятность можно выразить как нормальное распределение, умноженное на обратное гамма-распределение :

$${\displaystyle \rho ({\boldsymbol {\beta }},\sigma ^{2}\mid \mathbf {y} ,\mathbf {X} )\propto (\sigma ^{2})^{-k/2}\exp \left(-{\frac {1}{2{\sigma }^{2}}}({\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{n})^{\mathsf {T}}(\mathbf {X} ^{\mathsf {T}}\mathbf {X} +\mathbf {\Lambda } _{0})({\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{n})\right)(\sigma ^{2})^{-{\frac {n+2a_{0}}{2}}-1}\exp \left(-{\frac {2b_{0}+\mathbf {y} ^{\mathsf {T}}\mathbf {y} -{\boldsymbol {\mu }}_{n}^{\mathsf {T}}(\mathbf {X} ^{\mathsf {T}}\mathbf {X} +{\boldsymbol {\Lambda }}_{0}){\boldsymbol {\mu }}_{n}+{\boldsymbol {\mu }}_{0}^{\mathsf {T}}{\boldsymbol {\Lambda }}_{0}{\boldsymbol {\mu }}_{0}}{2\sigma ^{2}}}\right).}$$

Таким образом, апостериорное распределение можно параметризовать следующим образом. где два фактора соответствуют плотностям и распределениям, а их параметры задаются как$${\displaystyle \rho ({\boldsymbol {\beta }},\sigma ^{2}\mid \mathbf {y} ,\mathbf {X} )\propto \rho ({\boldsymbol {\beta }}\mid \sigma ^{2},\mathbf {y} ,\mathbf {X} )\rho (\sigma ^{2}\mid \mathbf {y} ,\mathbf {X} ),}$$${\displaystyle {\mathcal {N}}\left({\boldsymbol {\mu }}_{n},\sigma ^{2}{\boldsymbol {\Lambda }}_{n}^{-1}\right)\,}$${\displaystyle {\text{Inv-Gamma}}\left(a_{n},b_{n}\right)}$

$${\displaystyle {\boldsymbol {\Lambda }}_{n}=(\mathbf {X} ^{\mathsf {T}}\mathbf {X} +\mathbf {\Lambda } _{0}),\quad {\boldsymbol {\mu }}_{n}=({\boldsymbol {\Lambda }}_{n})^{-1}(\mathbf {X} ^{\mathsf {T}}\mathbf {X} {\hat {\boldsymbol {\beta }}}+{\boldsymbol {\Lambda }}_{0}{\boldsymbol {\mu }}_{0}),}$$$${\displaystyle a_{n}=a_{0}+{\frac {n}{2}},\qquad b_{n}=b_{0}+{\frac {1}{2}}(\mathbf {y} ^{\mathsf {T}}\mathbf {y} +{\boldsymbol {\mu }}_{0}^{\mathsf {T}}{\boldsymbol {\Lambda }}_{0}{\boldsymbol {\mu }}_{0}-{\boldsymbol {\mu }}_{n}^{\mathsf {T}}{\boldsymbol {\Lambda }}_{n}{\boldsymbol {\mu }}_{n}).}$$

что иллюстрирует байесовский вывод как компромисс между информацией, содержащейся в априорной информации, и информацией, содержащейся в выборке.

Доказательство модели — это вероятность данных, заданных моделью . Оно также известно как предельное правдоподобие и как априорная прогностическая плотность . Здесь модель определяется функцией правдоподобия и априорным распределением параметров, то есть . Доказательство модели фиксирует в одном числе, насколько хорошо такая модель объясняет наблюдения. Доказательство модели байесовской линейной регрессионной модели, представленное в этом разделе, может быть использовано для сравнения конкурирующих линейных моделей с помощью сравнения байесовских моделей . Эти модели могут различаться по количеству и значениям предикторных переменных, а также по их априорным данным по параметрам модели. Сложность модели уже учтена доказательством модели, поскольку оно маргинализирует параметры путем интегрирования по всем возможным значениям и . Этот интеграл можно вычислить аналитически, а решение дано в следующем уравнении. ^[5]${\displaystyle p(\mathbf {y} \mid m)}$${\displaystyle m}$${\displaystyle p(\mathbf {y} \mid \mathbf {X} ,{\boldsymbol {\beta }},\sigma )}$${\displaystyle p({\boldsymbol {\beta }},\sigma )}$${\displaystyle p(\mathbf {y} ,{\boldsymbol {\beta }},\sigma \mid \mathbf {X} )}$${\displaystyle {\boldsymbol {\beta }}}$${\displaystyle \sigma }$$${\displaystyle p(\mathbf {y} |m)=\int p(\mathbf {y} \mid \mathbf {X} ,{\boldsymbol {\beta }},\sigma )\,p({\boldsymbol {\beta }},\sigma )\,d{\boldsymbol {\beta }}\,d\sigma }$$$${\displaystyle p(\mathbf {y} \mid m)={\frac {1}{(2\pi )^{n/2}}}{\sqrt {\frac {\det({\boldsymbol {\Lambda }}_{0})}{\det({\boldsymbol {\Lambda }}_{n})}}}\cdot {\frac {b_{0}^{a_{0}}}{b_{n}^{a_{n}}}}\cdot {\frac {\Gamma (a_{n})}{\Gamma (a_{0})}}}$$

Здесь обозначает гамма-функцию . Поскольку мы выбрали сопряженную априорную вероятность, предельное правдоподобие также можно легко вычислить, оценив следующее равенство для произвольных значений и . Обратите внимание, что это уравнение есть не что иное, как перестановка теоремы Байеса . Подстановка формул для априорной вероятности, правдоподобия и апостериорной вероятности и упрощение полученного выражения приводит к аналитическому выражению, приведенному выше.${\displaystyle \Gamma }$${\displaystyle {\boldsymbol {\beta }}}$${\displaystyle \sigma }$$${\displaystyle p(\mathbf {y} \mid m)={\frac {p({\boldsymbol {\beta }},\sigma |m)\,p(\mathbf {y} \mid \mathbf {X} ,{\boldsymbol {\beta }},\sigma ,m)}{p({\boldsymbol {\beta }},\sigma \mid \mathbf {y} ,\mathbf {X} ,m)}}}$$

В общем случае может быть невозможно или непрактично вывести апостериорное распределение аналитически. Однако возможно аппроксимировать апостериорное распределение с помощью метода приближенного байесовского вывода, такого как выборка Монте-Карло , ^[6] INLA или вариационный Байес .

Особый случай называется гребневой регрессией .${\displaystyle {\boldsymbol {\mu }}_{0}=0,\mathbf {\Lambda } _{0}=c\mathbf {I} }$

Аналогичный анализ может быть выполнен для общего случая многомерной регрессии, и часть его обеспечивает байесовскую оценку ковариационных матриц : см. Байесовская многомерная линейная регрессия .

• Линейная статистика Байеса
• Ограниченные наименьшие квадраты
• Регуляризованный метод наименьших квадратов
• Регуляризация Тихонова
• Выбор переменных шипов и плит
• Байесовская интерпретация регуляризации ядра

This article includes a list of general references, but it lacks sufficient corresponding inline citations. Please help to improve this article by introducing more precise citations. (August 2011) (Learn how and when to remove this message)

• Бокс, GEP ; Тиао, GC (1973). Байесовский вывод в статистическом анализе . Wiley. ISBN 0-471-57428-7.
• Карлин, Брэдли П.; Луис, Томас А. (2008). Байесовские методы анализа данных (третье изд.). Бока-Ратон, Флорида: Chapman and Hall/CRC. ISBN 1-58488-697-8.
• Фармейр, Л.; Кнейб, Т.; Ланг, С. (2009). Регрессия. Modelle, Methoden und Anwendungen (второе изд.). Гейдельберг: Спрингер. дои : 10.1007/978-3-642-01837-4. ISBN 978-3-642-01836-7.
• Гельман, Эндрю и др. (2013). «Введение в регрессионные модели». Байесовский анализ данных (третье изд.). Бока-Ратон, Флорида: Chapman and Hall/CRC. стр. 353–380. ISBN 978-1-4398-4095-5.
• Джекман, Саймон (2009). «Регрессионные модели». Байесовский анализ для социальных наук . Wiley. С. 99–124. ISBN 978-0-470-01154-6.
• Росси, Питер Э.; Алленби, Грег М.; Маккалок, Роберт (2006). Байесовская статистика и маркетинг . John Wiley & Sons. ISBN 0470863676.
• О'Хаган, Энтони (1994). Байесовский вывод . Расширенная теория статистики Кендалла. Т. 2B (Первое издание). Холстед. ISBN 0-340-52922-9.

• Байесовская оценка линейных моделей (Wikibook по программированию на языке R). Байесовская линейная регрессия, реализованная в R.