Незначительная вероятность

Часть серии статей о
Байесовская статистика
Апостериор = Вероятность × Априор ÷ Доказательства
Фон
Байесовский вывод Байесовская вероятность Теорема Байеса Теорема Бернштейна–фон Мизеса Согласованность Теорема Кокса Правление Кромвеля Принцип правдоподобия Принцип безразличия Принцип максимальной энтропии
Модельное строительство
Сопряженный априор Линейная регрессия Эмпирический Байес Иерархическая модель
Апостериорное приближение
Марковская цепь Монте-Карло Приближение Лапласа Интегрированные вложенные приближения Лапласа Вариационный вывод Приблизительное байесовское вычисление
Оценщики
Байесовская оценка Достоверный интервал Максимальная апостериорная оценка
Приближение доказательств
Нижняя граница доказательств Вложенная выборка
Оценка модели
Фактор Байеса ( критерий Шварца ) Усреднение модели Апостериорный предиктивный
Математический портал
в т е

Маргинальное правдоподобие — это функция правдоподобия , которая была интегрирована по пространству параметров . В байесовской статистике она представляет вероятность генерации наблюдаемой выборки для всех возможных значений параметров; ее можно понимать как вероятность самой модели и поэтому ее часто называют свидетельством модели или просто свидетельством .

Из-за интеграции по пространству параметров предельное правдоподобие не зависит напрямую от параметров. Если фокус не на сравнении моделей, предельное правдоподобие — это просто нормирующая константа, которая гарантирует, что апостериорная вероятность является надлежащей вероятностью. Она связана с функцией распределения в статистической механике . ^[1]

Дан набор независимых одинаково распределенных точек данных , где в соответствии с некоторым распределением вероятностей, параметризованным с помощью , где само по себе является случайной величиной, описываемой распределением, т.е. предельное правдоподобие в общем случае задает вопрос о том, какова вероятность , где было исключено (интегрировано):${\displaystyle \mathbf {X} =(x_{1},\ldots ,x_{n}),}$${\displaystyle x_{i}\sim p(x|\theta )}$${\displaystyle \тета}$${\displaystyle \тета}$${\displaystyle \theta \sim p (\theta \mid \alpha),}$${\displaystyle p(\mathbf {X} \mid \alpha)}$${\displaystyle \тета}$

${\displaystyle p(\mathbf {X} \mid \alpha) = \int _ {\theta }p(\mathbf {X} \mid \theta)\,p(\theta \mid \alpha)\ \operatorname { d} \!\тета }$

Вышеуказанное определение сформулировано в контексте байесовской статистики , в этом случае называется априорной плотностью и является правдоподобием. Предельное правдоподобие количественно определяет согласие между данными и априорным значением в геометрическом смысле, уточненном ^{[ как? ]} в работе де Карвальо и др. (2019). В классической ( частотной ) статистике понятие предельного правдоподобия возникает вместо этого в контексте совместного параметра , где — фактический интересующий параметр, а — неинтересный мешающий параметр . Если существует распределение вероятностей для ^{[ сомнительного — обсудите ]} , часто желательно рассматривать функцию правдоподобия только с точки зрения , исключив :${\displaystyle p(\theta \mid \alpha)}$${\displaystyle p(\mathbf {X} \mid \theta)}$${\displaystyle \theta =(\psi ,\lambda )}$${\displaystyle \пси}$${\displaystyle \лямбда}$${\displaystyle \лямбда}$${\displaystyle \пси}$${\displaystyle \лямбда}$

${\displaystyle {\mathcal {L}}(\psi;\mathbf {X})=p(\mathbf {X} \mid \psi )=\int _ {\lambda }p(\mathbf {X} \mid \lambda ,\psi )\,p(\lambda \mid \psi )\ \operatorname {d} \!\lambda }$

К сожалению, маргинальные правдоподобия обычно трудно вычислить. Точные решения известны для небольшого класса распределений, особенно когда параметр маргинализации является сопряженным априорным распределением данных. В других случаях необходим какой-либо метод численного интегрирования , либо общий метод, такой как гауссовское интегрирование или метод Монте-Карло , либо метод, специализированный для статистических задач, такой как приближение Лапласа , выборка Гиббса / Метрополиса или алгоритм EM .

Также возможно применить приведенные выше соображения к одной случайной величине (точке данных) , а не к набору наблюдений. В байесовском контексте это эквивалентно априорному предсказательному распределению точки данных.${\displaystyle x}$

В байесовском сравнении моделей маргинальные переменные являются параметрами для определенного типа модели, а оставшаяся переменная является идентичностью самой модели. В этом случае маргинальное правдоподобие является вероятностью данных, заданных типом модели, не предполагая никаких конкретных параметров модели. Записывая для параметров модели, маргинальное правдоподобие для модели M равно${\displaystyle \тета}$${\displaystyle М}$${\displaystyle \тета}$

${\displaystyle p(\mathbf {X} \mid M) = \int p(\mathbf {X} \mid \theta, M)\,p(\theta \mid M)\,\operatorname {d} \! \ тета }$

Именно в этом контексте обычно используется термин модельное свидетельство . Эта величина важна, поскольку апостериорное отношение шансов для модели M ₁ против другой модели M ₂ включает отношение предельных правдоподобий, называемое фактором Байеса :

${\displaystyle {\frac {p(M_{1}\mid \mathbf {X} )}{p(M_{2}\mid \mathbf {X} )}}={\frac {p(M_{1})}{p(M_{2})}}\,{\frac {p(\mathbf {X} \mid M_{1})}{p(\mathbf {X} \mid M_{2})}}}$

что можно схематически выразить так

апостериорные шансы = априорные шансы × коэффициент Байеса

• Эмпирические байесовские методы
• Парадокс Линдли
• Предельная вероятность
• Байесовский информационный критерий

This article includes a list of references, related reading, or external links, but its sources remain unclear because it lacks inline citations. Please help improve this article by introducing more precise citations. (July 2010) (Learn how and when to remove this message)

• Charles S. Bos. "Сравнение методов вычисления предельного правдоподобия". В W. Härdle и B. Ronz, редакторы, COMPSTAT 2002: Proceedings in Computational Statistics , стр. 111–117. 2002. (Доступно как препринт на SSRN  332860)
• де Карвальо, Мигель; Пейдж, Гарритт; Барни, Брэдли (2019). «О геометрии байесовского вывода». Bayesian Analysis . 14 (4): 1013‒1036. (Доступно в виде препринта в Интернете: [1])
• Ламберт, Бен (2018). «Дьявол в знаменателе». Руководство для студентов по байесовской статистике . Sage. стр.  109–120 . ISBN 978-1-4739-1636-4.
• Электронный учебник: Теория информации, вывод и алгоритмы обучения, Дэвид Дж. К. Маккей .