Эмпирический метод Байеса

Часть серии статей о
Байесовская статистика
Апостериор = Вероятность × Априор ÷ Доказательства
Фон
Байесовский вывод Байесовская вероятность Теорема Байеса Теорема Бернштейна–фон Мизеса Согласованность Теорема Кокса Правление Кромвеля Принцип правдоподобия Принцип безразличия Принцип максимальной энтропии
Модельное строительство
Сопряженный априор Линейная регрессия Эмпирический Байес Иерархическая модель
Апостериорное приближение
Марковская цепь Монте-Карло Приближение Лапласа Интегрированные вложенные приближения Лапласа Вариационный вывод Приблизительное байесовское вычисление
Оценщики
Байесовская оценка Достоверный интервал Максимальная апостериорная оценка
Приближение доказательств
Нижняя граница доказательств Вложенная выборка
Оценка модели
Фактор Байеса ( критерий Шварца ) Усреднение модели Апостериорный предиктивный
Математический портал
в т е

Эмпирические байесовские методы — это процедуры статистического вывода , в которых априорное распределение вероятностей оценивается на основе данных. Этот подход отличается от стандартных байесовских методов , в которых априорное распределение фиксируется до того, как будут получены какие-либо данные. Несмотря на эту разницу в перспективах, эмпирический байесовский метод можно рассматривать как приближение к полностью байесовскому подходу к иерархической модели , в котором параметры на самом высоком уровне иерархии устанавливаются в соответствии с их наиболее вероятными значениями, а не интегрируются. ^[1] Эмпирический байесовский метод, также известный как метод максимального предельного правдоподобия , ^[2] представляет собой удобный подход к установке гиперпараметров , но с 2000-х годов был в основном вытеснен полностью байесовским иерархическим анализом с ростом доступности высокопроизводительных вычислительных методов. Однако он по-прежнему широко используется для вариационных методов в глубоком обучении, таких как вариационные автокодировщики , где скрытые переменные пространства являются высокоразмерными.

Эмпирические байесовские методы можно рассматривать как приближение к полностью байесовской трактовке иерархической байесовской модели .

Например, в двухэтапной иерархической байесовской модели предполагается, что наблюдаемые данные генерируются из ненаблюдаемого набора параметров в соответствии с распределением вероятностей . В свою очередь, параметры можно считать выборками, взятыми из популяции, характеризуемой гиперпараметрами в соответствии с распределением вероятностей . В иерархической байесовской модели, хотя и не в эмпирическом байесовском приближении, гиперпараметры считаются взятыми из непараметризованного распределения .${\displaystyle y=\{y_{1},y_{2},\dots ,y_{n}\}}$${\displaystyle \theta =\{\theta _{1},\theta _{2},\dots ,\theta _{n}\}}$${\displaystyle p(y\mid \theta )\,}$${\displaystyle \theta }$ ${\displaystyle \eta \,}$${\displaystyle p(\theta \mid \eta )\,}$${\displaystyle \eta \,}$${\displaystyle p(\eta )\,}$

Таким образом, информация о конкретной интересующей величине исходит не только из свойств тех данных , которые напрямую от нее зависят, но и из свойств совокупности параметров в целом, выведенных из данных в целом, обобщенных с помощью гиперпараметров .${\displaystyle \theta _{i}\;}$${\displaystyle y}$${\displaystyle \theta \;}$${\displaystyle \eta \;}$

Используя теорему Байеса ,

${\displaystyle p(\theta \mid y)={\frac {p(y\mid \theta )p(\theta )}{p(y)}}={\frac {p(y\mid \theta )}{p(y)}}\int p(\theta \mid \eta )p(\eta )\,d\eta \,.}$

В общем случае этот интеграл не поддается аналитическому или символическому анализу и должен быть оценен численными методами. Можно использовать стохастические (случайные) или детерминированные приближения. Примерами стохастических методов являются Монте-Карло с цепями Маркова и выборка Монте-Карло . Детерминированные приближения обсуждаются в квадратуре .

Альтернативно выражение можно записать как

${\displaystyle p(\theta \mid y)=\int p(\theta \mid \eta ,y)p(\eta \mid y)\;d\eta =\int {\frac {p(y\mid \theta )p(\theta \mid \eta )}{p(y\mid \eta )}}p(\eta \mid y)\;d\eta \,,}$

а последний множитель в интеграле, в свою очередь, может быть выражен как

${\displaystyle p(\eta \mid y)=\int p(\eta \mid \theta )p(\theta \mid y)\;d\theta .}$

Они предлагают итеративную схему, качественно похожую по структуре на сэмплер Гиббса , для последовательного улучшения приближений к и . Сначала вычислите начальное приближение к полностью игнорируя зависимость; затем вычислите приближение к на основе начального приближенного распределения ; затем используйте это для обновления приближения для ; затем обновите ; и так далее.${\displaystyle p(\theta \mid y)\;}$${\displaystyle p(\eta \mid y)\;}$${\displaystyle p(\theta \mid y)\;}$${\displaystyle \eta }$${\displaystyle p(\eta \mid y)\;}$${\displaystyle p(\theta \mid y)\;}$${\displaystyle p(\eta \mid y)\;}$${\displaystyle p(\theta \mid y)\;}$${\displaystyle p(\eta \mid y)\;}$

Когда истинное распределение имеет острый пик, определение интеграла может быть не сильно изменено путем замены распределения вероятностей точечной оценкой, представляющей пик распределения (или, альтернативно, его среднее значение),${\displaystyle p(\eta \mid y)\;}$${\displaystyle p(\theta \mid y)\;}$${\displaystyle \eta \;}$${\displaystyle \eta ^{*}\;}$

${\displaystyle p(\theta \mid y)\simeq {\frac {p(y\mid \theta )\;p(\theta \mid \eta ^{*})}{p(y\mid \eta ^{*})}}\,.}$

При таком приближении вышеприведенная итерационная схема становится алгоритмом EM .

Термин «Эмпирический Байес» может охватывать широкий спектр методов, но большинство из них можно рассматривать как раннее усечение либо вышеприведенной схемы, либо чего-то похожего. Для параметра(ов) обычно используются точечные оценки, а не все распределение . Оценки для обычно производятся от первого приближения до без последующего уточнения. Эти оценки для обычно производятся без учета соответствующего предварительного распределения для .${\displaystyle \eta \;}$${\displaystyle \eta ^{*}\;}$${\displaystyle p(\theta \mid y)\;}$${\displaystyle \eta ^{*}\;}$${\displaystyle \eta }$

Роббинс ^[3] рассмотрел случай выборки из смешанного распределения , где вероятность для каждого (условная на ) задается распределением Пуассона ,${\displaystyle y_{i}}$${\displaystyle \theta _{i}}$

${\displaystyle p(y_{i}\mid \theta _{i})={{\theta _{i}}^{y_{i}}e^{-\theta _{i}} \over {y_{i}}!}}$

в то время как априорная вероятность θ не указана, за исключением того, что она также является независимой идентификацией из неизвестного распределения с кумулятивной функцией распределения . Составная выборка возникает в различных задачах статистической оценки, таких как показатели аварийности и клинические испытания. ^{[ необходима цитата ]} Мы просто ищем точечный прогноз для всех наблюдаемых данных. Поскольку априорная вероятность не указана, мы пытаемся сделать это без знания G . ^[4]${\displaystyle G(\theta )}$${\displaystyle \theta _{i}}$

При квадратичной ошибке потери (SEL) условное ожидание E( θ _i  |  Y _i  =  y _i ) является разумной величиной для использования в прогнозировании. Для модели составной выборки Пуассона эта величина равна

${\displaystyle \operatorname {E} (\theta _{i}\mid y_{i})={\int (\theta ^{y_{i}+1}e^{-\theta }/{y_{i}}!)\,dG(\theta ) \over {\int (\theta ^{y_{i}}e^{-\theta }/{y_{i}}!)\,dG(\theta })}.}$

Это можно упростить, умножив числитель и знаменатель на , получив${\displaystyle ({y_{i}}+1)}$

${\displaystyle \operatorname {E} (\theta _{i}\mid y_{i})={{(y_{i}+1)p_{G}(y_{i}+1)} \over {p_{G}(y_{i})}},}$

где p _G — это функция предельной вероятности массы , полученная путем интегрирования θ по G.

Чтобы воспользоваться этим, Роббинс ^[3] предложил оценивать маргинальные значения с помощью их эмпирических частот ( ), получая полностью непараметрическую оценку как:${\displaystyle \#\{Y_{j}\}}$

${\displaystyle \operatorname {E} (\theta _{i}\mid y_{i})\approx (y_{i}+1){{\#\{Y_{j}=y_{i}+1\}} \over {\#\{Y_{j}=y_{i}\}}},}$

где обозначает «количество». (См. также оценку частоты Гуда–Тьюринга .)${\displaystyle \#}$

Пример – Показатели аварийности

Предположим, что каждый клиент страховой компании имеет «уровень аварийности» Θ и застрахован от аварий; распределение вероятностей Θ является базовым распределением и неизвестно. Количество аварий, полученных каждым клиентом за указанный период времени, имеет распределение Пуассона с ожидаемым значением, равным уровню аварийности конкретного клиента. Фактическое количество аварий, полученных клиентом, является наблюдаемой величиной. Грубый способ оценки базового распределения вероятностей уровня аварийности Θ заключается в оценке доли членов всего населения, пострадавших от 0, 1, 2, 3, ... аварий за указанный период времени, как соответствующей доли в наблюдаемой случайной выборке. Сделав это, затем желательно спрогнозировать уровень аварийности каждого клиента в выборке. Как и выше, можно использовать условное ожидаемое значение уровня аварийности Θ, учитывая наблюдаемое количество аварий за базовый период. Таким образом, если клиент пострадал в шести несчастных случаях в течение базового периода, предполагаемый уровень несчастных случаев этого клиента составляет 7 × [доля выборки, пострадавшая в 7 несчастных случаях] / [доля выборки, пострадавшая в 6 несчастных случаях]. Обратите внимание, что если доля людей, пострадавших в k несчастных случаях, является убывающей функцией k , прогнозируемый уровень несчастных случаев клиента часто будет ниже, чем наблюдаемое количество несчастных случаев.

Этот эффект сжатия типичен для эмпирического байесовского анализа.

Если правдоподобие и его априорная вероятность принимают простые параметрические формы (например, одномерные или двумерные функции правдоподобия с простыми сопряженными априорными вероятностями ), то эмпирическая байесовская проблема заключается только в оценке маргинальных и гиперпараметров с использованием полного набора эмпирических измерений. Например, один из распространенных подходов, называемый параметрической эмпирической байесовской точечной оценкой, заключается в аппроксимации маргинальных вероятностей с использованием оценки максимального правдоподобия (MLE) или разложения моментов , что позволяет выразить гиперпараметры в терминах эмпирического среднего и дисперсии. Эта упрощенная маргинальная вероятность позволяет включить эмпирические средние в точечную оценку для априорной вероятности . Полученное уравнение для априорной вероятности значительно упрощается, как показано ниже.${\displaystyle m(y\mid \eta )}$${\displaystyle \eta }$${\displaystyle \eta }$${\displaystyle \theta }$${\displaystyle \theta }$

Существует несколько общих параметрических эмпирических байесовских моделей, включая модель Пуассона–гамма (ниже), бета-биномиальную модель , модель Гаусса–Гаусса, модель Дирихле-мультиномиала , а также специальные модели для байесовской линейной регрессии (см. ниже) и байесовской многомерной линейной регрессии . Более продвинутые подходы включают иерархические байесовские модели и модели байесовской смеси.

Пример эмпирической байесовской оценки с использованием гауссово-гауссовой модели см. в разделе Эмпирические байесовские оценки .

Например, в приведенном выше примере пусть вероятность будет распределением Пуассона , а априорная вероятность теперь будет задана сопряженной априорной вероятностью , которая является гамма-распределением ( ) (где ):${\displaystyle G(\alpha ,\beta )}$${\displaystyle \eta =(\alpha ,\beta )}$

${\displaystyle \rho (\theta \mid \alpha ,\beta )\,d\theta ={\frac {(\theta /\beta )^{\alpha -1}\,e^{-\theta /\beta }}{\Gamma (\alpha )}}\,(d\theta /\beta ){\text{ for }}\theta >0,\alpha >0,\beta >0\,\!.}$

Легко показать, что апостериорное распределение также является гамма-распределением. Запишите

${\displaystyle \rho (\theta \mid y)\propto \rho (y\mid \theta )\rho (\theta \mid \alpha ,\beta ),}$

где предельное распределение было опущено, поскольку оно не зависит явно от . Разложение членов, которые зависят от , дает апостериорную функцию как:${\displaystyle \theta }$${\displaystyle \theta }$

${\displaystyle \rho (\theta \mid y)\propto (\theta ^{y}\,e^{-\theta })(\theta ^{\alpha -1}\,e^{-\theta /\beta })=\theta ^{y+\alpha -1}\,e^{-\theta (1+1/\beta )}.}$

Таким образом, апостериорная плотность также является гамма-распределением , где , и . Также обратите внимание, что маргинальная плотность является просто интегралом апостериорной плотности по всем , что оказывается отрицательным биномиальным распределением .${\displaystyle G(\alpha ',\beta ')}$${\displaystyle \alpha '=y+\alpha }$${\displaystyle \beta '=(1+1/\beta )^{-1}}$${\displaystyle \Theta }$

Чтобы применить эмпирический Байес, мы аппроксимируем маргинальную величину с помощью оценки максимального правдоподобия (MLE). Но поскольку апостериорная величина является гамма-распределением, MLE маргинальной величины оказывается просто средним апостериорной величины, что и является нужной нам точечной оценкой. Вспоминая, что среднее значение гамма-распределения просто , мы имеем${\displaystyle \operatorname {E} (\theta \mid y)}$${\displaystyle \mu }$${\displaystyle G(\alpha ',\beta ')}$${\displaystyle \alpha '\beta '}$

${\displaystyle \operatorname {E} (\theta \mid y)=\alpha '\beta '={\frac {{\bar {y}}+\alpha }{1+1/\beta }}={\frac {\beta }{1+\beta }}{\bar {y}}+{\frac {1}{1+\beta }}(\alpha \beta ).}$

Для получения значений и эмпирический Байес предписывает оценивать среднее значение и дисперсию, используя полный набор эмпирических данных.${\displaystyle \alpha }$${\displaystyle \beta }$${\displaystyle \alpha \beta }$${\displaystyle \alpha \beta ^{2}}$

Результирующая точечная оценка , таким образом, похожа на средневзвешенное значение выборочного среднего и априорного среднего . Это оказывается общей чертой эмпирического Байеса; точечные оценки для априорного (т.е. среднего) будут выглядеть как средневзвешенные значения выборочной оценки и априорной оценки (аналогично для оценок дисперсии).${\displaystyle \operatorname {E} (\theta \mid y)}$${\displaystyle {\bar {y}}}$${\displaystyle \mu =\alpha \beta }$

• Байесовский оценщик
• Байесовская сеть
• Гиперпараметр
• Гиперприор
• Лучший линейный несмещенный прогноз
• лемма Роббинса
• Выбор переменной «шип-плитка»

This article includes a list of general references, but it lacks sufficient corresponding inline citations. Please help to improve this article by introducing more precise citations. (February 2012) (Learn how and when to remove this message)

• Питер Э. Росси; Грег М. Алленби; Роб Маккалок (14 мая 2012 г.). Байесовская статистика и маркетинг. John Wiley & Sons. ISBN 978-0-470-86368-8.
• Казелла, Джордж (май 1985 г.). «Введение в эмпирический байесовский анализ данных» (PDF) . American Statistician . 39 (2): 83–87. doi :10.2307/2682801. hdl : 1813/32886 . JSTOR  2682801. MR  0789118.
• Никулин, Михаил (1987). «Условия регулярности Бернштейна в задаче эмпирического байесовского подхода». Журнал советской математики . 36 (5): 596–600. doi : 10.1007/BF01093293 . S2CID  122405908.

• Использование эмпирического метода Байеса для оценки безопасности дорожного движения (Северная Америка)
• Эмпирические байесовские методы анализа пропущенных данных
• Использование бета-биномиального распределения для оценки эффективности биометрического идентификационного устройства
• Иерархические наивные байесовские классификаторы (для непрерывных и дискретных переменных).