Сопряженный априор

Часть серии статей о
Байесовская статистика
Апостериор = Вероятность × Априор ÷ Доказательства
Фон
Байесовский вывод Байесовская вероятность Теорема Байеса Теорема Бернштейна–фон Мизеса Согласованность Теорема Кокса Правление Кромвеля Принцип правдоподобия Принцип безразличия Принцип максимальной энтропии
Модельное строительство
Сопряженный априор Линейная регрессия Эмпирический Байес Иерархическая модель
Апостериорное приближение
Марковская цепь Монте-Карло Приближение Лапласа Интегрированные вложенные приближения Лапласа Вариационный вывод Приблизительное байесовское вычисление
Оценщики
Байесовская оценка Достоверный интервал Максимальная апостериорная оценка
Приближение доказательств
Нижняя граница доказательств Вложенная выборка
Оценка модели
Фактор Байеса ( критерий Шварца ) Усреднение модели Апостериорный предсказательный
Математический портал
в т е

В байесовской теории вероятностей, если при заданной функции правдоподобия апостериорное распределение находится в том же семействе распределений вероятностей , что и априорное распределение вероятностей , то априорное и апостериорное распределения называются сопряженными распределениями относительно этой функции правдоподобия, а априорное распределение называется сопряженным априорным для функции правдоподобия . ${\displaystyle p(x\mid \theta )}$ ${\displaystyle p(\theta \mid x)}$ ${\displaystyle p(\theta)}$${\displaystyle p(x\mid \theta )}$

Сопряженное априорное распределение является алгебраическим удобством, давая замкнутое выражение для апостериорного распределения; в противном случае может потребоваться численное интегрирование . Кроме того, сопряженные априорные распределения могут давать интуицию, более прозрачно показывая, как функция правдоподобия обновляет априорное распределение.

Понятие, а также термин «сопряженное априорное распределение» были введены Говардом Райффой и Робертом Шлайфером в их работе по байесовской теории принятия решений . ^[1] Подобная концепция была независимо открыта Джорджем Альфредом Барнардом . ^[2]

Форма сопряженного априорного распределения обычно может быть определена путем проверки плотности вероятности или функции массы вероятности распределения. Например, рассмотрим случайную величину , которая состоит из числа успехов в испытаниях Бернулли с неизвестной вероятностью успеха в [0,1]. Эта случайная величина будет следовать биномиальному распределению с функцией массы вероятности вида${\displaystyle с}$${\displaystyle n}$ ${\displaystyle д}$

${\displaystyle p(s)={n \выберите s}q^{s}(1-q)^{ns}}$

Обычным сопряженным априорным распределением является бета-распределение с параметрами ( , ):${\displaystyle \альфа}$${\displaystyle \бета}$

${\displaystyle p(q)={q^{\alpha -1}(1-q)^{\beta -1} \over \mathrm {B} (\alpha ,\beta )}}$

где и выбраны так, чтобы отражать любое существующее убеждение или информацию ( и давали бы равномерное распределение ), а — бета-функция, действующая как нормирующая константа .${\displaystyle \альфа}$${\displaystyle \бета}$${\displaystyle \альфа =1}$${\displaystyle \бета =1}$${\displaystyle \mathrm {B} (\альфа,\бета)}$

В этом контексте и называются гиперпараметрами (параметрами априорной вероятности), чтобы отличать их от параметров базовой модели (здесь ). Типичной характеристикой сопряженных априорных вероятностей является то, что размерность гиперпараметров на единицу больше, чем размерность параметров исходного распределения. Если все параметры являются скалярными значениями, то гиперпараметров будет на один больше, чем параметров; но это также применимо к векторно-значным и матрично-значным параметрам. (См. общую статью об экспоненциальном семействе , а также рассмотрим распределение Уишарта , сопряженное априорное распределение ковариационной матрицы многомерного нормального распределения , для примера, где задействована большая размерность.)${\displaystyle \альфа}$${\displaystyle \бета}$${\displaystyle д}$

Если мы выберем эту случайную величину и получим успехи и неудачи, то у нас будет${\displaystyle с}$${\displaystyle f=ns}$

${\displaystyle {\begin{aligned}P(s,f\mid q=x)&={s+f \choose s}x^{s}(1-x)^{f},\\P(q=x)&={x^{\alpha -1}(1-x)^{\beta -1} \over \mathrm {B} (\alpha ,\beta )},\\P(q=x\mid s,f)&={\frac {P(s,f\mid x)P(x)}{\int P(s,f\mid y)P(y)dy}}\\&={{{s+f \choose s}x^{s+\alpha -1}(1-x)^{f+\beta -1}/\mathrm {B} (\alpha ,\beta )} \over \int _{y=0}^{1}\left({s+f \choose s}y^{s+\alpha -1}(1-y)^{f+\beta -1}/\mathrm {B} (\alpha ,\beta )\right)dy}\\&={x^{s+\alpha -1}(1-x)^{f+\beta -1} \over \mathrm {B} (s+\alpha ,f+\beta )},\end{aligned}}}$

что является другим распределением Бета с параметрами . Это апостериорное распределение затем может быть использовано в качестве априорного для большего количества образцов, при этом гиперпараметры просто добавляют каждую дополнительную часть информации по мере ее поступления.${\displaystyle (\альфа +s,\бета +f)}$

Часто бывает полезно думать о гиперпараметрах сопряженного априорного распределения, соответствующих наблюдению определенного количества псевдонаблюдений со свойствами, указанными параметрами. Например, значения и бета -распределения можно рассматривать как соответствующие успехам и неудачам, если апостериорная мода используется для выбора оптимальной настройки параметров, или успехам и неудачам, если апостериорное среднее используется для выбора оптимальной настройки параметров. В общем, почти для всех сопряженных априорных распределений гиперпараметры можно интерпретировать в терминах псевдонаблюдений. Это может помочь обеспечить интуицию, стоящую за часто запутанными уравнениями обновления, и помочь выбрать разумные гиперпараметры для априорного распределения.${\displaystyle \альфа}$${\displaystyle \бета}$${\displaystyle \альфа -1}$${\displaystyle \бета -1}$${\displaystyle \альфа}$${\displaystyle \бета}$

Можно думать об обусловленности на сопряженных априорных данных как об определении своего рода (дискретной по времени) динамической системы : из заданного набора гиперпараметров входящие данные обновляют эти гиперпараметры, поэтому можно рассматривать изменение гиперпараметров как своего рода «эволюцию во времени» системы, соответствующую «обучению». Старт в разных точках дает разные потоки с течением времени. Это снова аналогично динамической системе, определяемой линейным оператором, но обратите внимание, что поскольку разные образцы приводят к разным выводам, это зависит не просто от времени, а от данных с течением времени. Для связанных подходов см. Рекурсивная байесовская оценка и Усваивание данных .

Предположим, что в вашем городе работает служба проката автомобилей. Водители могут сдавать и забирать автомобили в любом месте в черте города. Вы можете найти и арендовать автомобили с помощью приложения.

Предположим, вы хотите найти вероятность того, что вы сможете найти арендованный автомобиль в пределах короткой дистанции от вашего домашнего адреса в любое время суток.

В течение трех дней вы заходите в приложение и обнаруживаете следующее количество автомобилей в непосредственной близости от вашего домашнего адреса:${\displaystyle \mathbf {x} =[3,4,1]}$

Предположим, мы предполагаем, что данные получены из распределения Пуассона . В этом случае мы можем вычислить оценку максимального правдоподобия параметров модели, которая равна Используя эту оценку максимального правдоподобия, мы можем вычислить вероятность того, что в определенный день будет доступна хотя бы одна машина:${\textstyle \lambda ={\frac {3+4+1}{3}}\approx 2.67.}$${\textstyle p(x>0|\lambda \approx 2.67)=1-p(x=0|\lambda \approx 2.67)=1-{\frac {2.67^{0}e^{-2.67}}{0!}}\approx 0.93}$

Это распределение Пуассона, которое с наибольшей вероятностью сгенерировало наблюдаемые данные . Но данные также могли быть получены из другого распределения Пуассона, например, с , или и т. д. Фактически, существует бесконечное количество распределений Пуассона, которые могли сгенерировать наблюдаемые данные. При относительно небольшом количестве точек данных мы должны быть совершенно не уверены в том, какое именно распределение Пуассона сгенерировало эти данные. Интуитивно мы должны вместо этого взять средневзвешенное значение вероятности для каждого из этих распределений Пуассона, взвешенное по тому, насколько вероятно каждое из них, учитывая наблюдаемые нами данные .${\displaystyle \mathbf {x} }$${\displaystyle \lambda =3}$${\displaystyle \lambda =2}$${\displaystyle p(x>0|\lambda )}$${\displaystyle \mathbf {x} }$

Обычно эта величина известна как апостериорное предсказательное распределение , где — новая точка данных, — наблюдаемые данные, а — параметры модели. Используя теорему Байеса, мы можем расширить , следовательно , Обычно этот интеграл трудно вычислить. Однако, если выбрать сопряженное априорное распределение , можно вывести выражение в замкнутой форме. Это апостериорный предсказательный столбец в таблицах ниже.${\displaystyle p(x|\mathbf {x} )=\int _{\theta }p(x|\theta )p(\theta |\mathbf {x} )d\theta \,,}$${\displaystyle x}$${\displaystyle \mathbf {x} }$${\displaystyle \theta }$${\displaystyle p(\theta |\mathbf {x} )={\frac {p(\mathbf {x} |\theta )p(\theta )}{p(\mathbf {x} )}}\,,}$${\displaystyle p(x|\mathbf {x} )=\int _{\theta }p(x|\theta ){\frac {p(\mathbf {x} |\theta )p(\theta )}{p(\mathbf {x} )}}d\theta \,.}$${\displaystyle p(\theta )}$

Возвращаясь к нашему примеру, если мы выберем гамма-распределение в качестве нашего априорного распределения по скорости распределения Пуассона, то апостериорным предсказателем будет отрицательное биномиальное распределение , как видно из таблицы ниже. Гамма-распределение параметризуется двумя гиперпараметрами , которые нам нужно выбрать. Рассматривая графики гамма-распределения, мы выбираем , что, по-видимому, является разумным априорным значением для среднего числа автомобилей. Выбор априорных гиперпараметров по своей сути субъективен и основан на априорных знаниях.${\displaystyle \alpha ,\beta }$${\displaystyle \alpha =\beta =2}$

Учитывая априорные гиперпараметры , мы можем вычислить апостериорные гиперпараметры и${\displaystyle \alpha }$${\displaystyle \beta }$${\textstyle \alpha '=\alpha +\sum _{i}x_{i}=2+3+4+1=10}$${\textstyle \beta '=\beta +n=2+3=5}$

Учитывая апостериорные гиперпараметры, мы можем, наконец, вычислить апостериорный прогноз${\textstyle p(x>0|\mathbf {x} )=1-p(x=0|\mathbf {x} )=1-NB\left(0\,|\,10,{\frac {5}{1+5}}\right)\approx 0.84}$

Эта гораздо более консервативная оценка отражает неопределенность параметров модели, которую учитывает апостериорное прогнозирование.

Пусть n обозначает число наблюдений. Во всех случаях ниже предполагается, что данные состоят из n точек (которые будут случайными векторами в многомерных случаях).${\displaystyle x_{1},\ldots ,x_{n}}$

Если функция правдоподобия принадлежит к экспоненциальному семейству , то существует сопряженное априорное распределение, часто также в экспоненциальном семействе; см. Экспоненциальное семейство: Сопряженные распределения .

This section needs additional citations for verification. Please help improve this article by adding citations to reliable sources in this section. Unsourced material may be challenged and removed. (August 2020) (Learn how and when to remove this message)

Вероятность ${\displaystyle p(x_{i}|\theta )}$	Параметры модели ${\displaystyle \theta }$	Сопряженное априорное (и апостериорное) распределение ${\displaystyle p(\theta |\Theta ),p(\theta |\mathbf {x} ,\Theta )=p(\theta |\Theta ')}$	Предыдущие гиперпараметры ${\displaystyle \Theta }$	Апостериорные гиперпараметры [примечание 1] ${\displaystyle \Theta '}$	Интерпретация гиперпараметров	Апостериорный предиктивный [примечание 2] ${\displaystyle p({\tilde {x}}|\mathbf {x} ,\Theta )=p({\tilde {x}}|\Theta ')}$
Бернулли	р (вероятность)	Бета	${\displaystyle \alpha ,\,\beta \in \mathbb {R} \!}$	${\displaystyle \alpha +\sum _{i=1}^{n}x_{i},\,\beta +n-\sum _{i=1}^{n}x_{i}\!}$	${\displaystyle \alpha }$успехи, неудачи [примечание 3]${\displaystyle \beta }$	${\displaystyle p({\tilde {x}}=1)={\frac {\alpha '}{\alpha '+\beta '}}}$ ( Бернулли )
Биномиальная с известным числом испытаний, м	р (вероятность)	Бета	${\displaystyle \alpha ,\,\beta \in \mathbb {R} \!}$	${\displaystyle \alpha +\sum _{i=1}^{n}x_{i},\,\beta +\sum _{i=1}^{n}N_{i}-\sum _{i=1}^{n}x_{i}\!}$	${\displaystyle \alpha }$успехи, неудачи [примечание 3]${\displaystyle \beta }$	${\displaystyle \operatorname {BetaBin} ({\tilde {x}}|\alpha ',\beta ')}$ ( бета-биномиальный )
Отрицательный бином с известным числом отказов, r	р (вероятность)	Бета	${\displaystyle \alpha ,\,\beta \in \mathbb {R} \!}$	${\displaystyle \alpha +rn,\,\beta +\sum _{i=1}^{n}x_{i}\!}$	${\displaystyle \alpha }$общие успехи, неудачи [примечание 3] (т.е. эксперименты, предполагающие, что все остается неизменным)${\displaystyle \beta }$${\displaystyle {\frac {\beta }{r}}}$${\displaystyle r}$	${\displaystyle \operatorname {BetaNegBin} ({\tilde {x}}|\alpha ',\beta ')}$ (бета-отрицательный биномиальный)
Пуассон	λ (скорость)	Гамма	${\displaystyle k,\,\theta \in \mathbb {R} \!}$	${\displaystyle k+\sum _{i=1}^{n}x_{i},\ {\frac {\theta }{n\theta +1}}\!}$	${\displaystyle k}$общее количество появлений в интервалах${\displaystyle {\frac {1}{\theta }}}$	${\displaystyle \operatorname {NB} \left({\tilde {x}}\mid k',{\frac {1}{\theta '+1}}\right)}$ ( отрицательный бином )
			${\displaystyle \alpha ,\,\beta \!}$ [примечание 4]	${\displaystyle \alpha +\sum _{i=1}^{n}x_{i},\ \beta +n\!}$	${\displaystyle \alpha }$общее количество появлений в интервалах${\displaystyle \beta }$	${\displaystyle \operatorname {NB} \left({\tilde {x}}\mid \alpha ',{\frac {\beta '}{1+\beta '}}\right)}$ ( отрицательный бином )
Категорический	p (вектор вероятности), k (количество категорий; т.е. размер p )	Дирихле	${\displaystyle {\boldsymbol {\alpha }}\in \mathbb {R} ^{k}\!}$	${\displaystyle {\boldsymbol {\alpha }}+(c_{1},\ldots ,c_{k}),}$где - число наблюдений в категории i${\displaystyle c_{i}}$	${\displaystyle \alpha _{i}}$случаи категории [примечание 3]${\displaystyle i}$	${\displaystyle {\begin{aligned}p({\tilde {x}}=i)&={\frac {{\alpha _{i}}'}{\sum _{i}{\alpha _{i}}'}}\\&={\frac {\alpha _{i}+c_{i}}{\sum _{i}\alpha _{i}+n}}\end{aligned}}}$ ( категорический )
Многочлен	p (вектор вероятности), k (количество категорий; т.е. размер p )	Дирихле	${\displaystyle {\boldsymbol {\alpha }}\in \mathbb {R} ^{k}\!}$	${\displaystyle {\boldsymbol {\alpha }}+\sum _{i=1}^{n}\mathbf {x} _{i}\!}$	${\displaystyle \alpha _{i}}$случаи категории [примечание 3]${\displaystyle i}$	${\displaystyle \operatorname {DirMult} ({\tilde {\mathbf {x} }}\mid {\boldsymbol {\alpha }}')}$ ( Дирихле-мультиномиал )
Гипергеометрический с известной общей численностью населения, N	M (количество целевых членов)	Бета-биномиальный [3]	${\displaystyle n=N,\alpha ,\,\beta \!}$	${\displaystyle \alpha +\sum _{i=1}^{n}x_{i},\,\beta +\sum _{i=1}^{n}N_{i}-\sum _{i=1}^{n}x_{i}\!}$	${\displaystyle \alpha }$успехи, неудачи [примечание 3]${\displaystyle \beta }$
Геометрический	р 0 (вероятность)	Бета	${\displaystyle \alpha ,\,\beta \in \mathbb {R} \!}$	${\displaystyle \alpha +n,\,\beta +\sum _{i=1}^{n}x_{i}\!}$	${\displaystyle \alpha }$эксперименты, полный провал [примечание 3]${\displaystyle \beta }$

Вероятность ${\displaystyle p(x_{i}|\theta )}$	Параметры модели ${\displaystyle \theta }$	Сопряженное априорное (и апостериорное) распределение${\displaystyle p(\theta |\Theta ),p(\theta |\mathbf {x} ,\Theta )=p(\theta |\Theta ')}$	Предыдущие гиперпараметры ${\displaystyle \Theta }$	Апостериорные гиперпараметры [примечание 1] ${\displaystyle \Theta '}$	Интерпретация гиперпараметров	Апостериорный предиктивный [примечание 5] ${\displaystyle p({\tilde {x}}|\mathbf {x} ,\Theta )=p({\tilde {x}}|\Theta ')}$
Нормальный с известной дисперсией σ 2	μ (среднее)	Нормальный	${\displaystyle \mu _{0},\,\sigma _{0}^{2}\!}$	${\displaystyle {\frac {1}{{\frac {1}{\sigma _{0}^{2}}}+{\frac {n}{\sigma ^{2}}}}}\left({\frac {\mu _{0}}{\sigma _{0}^{2}}}+{\frac {\sum _{i=1}^{n}x_{i}}{\sigma ^{2}}}\right),\left({\frac {1}{\sigma _{0}^{2}}}+{\frac {n}{\sigma ^{2}}}\right)^{-1}}$	среднее значение было оценено на основе наблюдений с общей точностью (сумма всех индивидуальных точностей) и с выборочным средним${\displaystyle 1/\sigma _{0}^{2}}$${\displaystyle \mu _{0}}$	${\displaystyle {\mathcal {N}}({\tilde {x}}|\mu _{0}',{\sigma _{0}^{2}}'+\sigma ^{2})}$[4]
Нормаль с известной точностью τ	μ (среднее)	Нормальный	${\displaystyle \mu _{0},\,\tau _{0}^{-1}\!}$	${\displaystyle {\frac {\tau _{0}\mu _{0}+\tau \sum _{i=1}^{n}x_{i}}{\tau _{0}+n\tau }},\,\left(\tau _{0}+n\tau \right)^{-1}}$	среднее значение было оценено на основе наблюдений с общей точностью (сумма всех индивидуальных точностей) и с выборочным средним${\displaystyle \tau _{0}}$${\displaystyle \mu _{0}}$	${\displaystyle {\mathcal {N}}\left({\tilde {x}}\mid \mu _{0}',{\frac {1}{\tau _{0}'}}+{\frac {1}{\tau }}\right)}$[4]
Нормальный с известным средним μ	σ 2 (дисперсия)	Обратная гамма	${\displaystyle \mathbf {\alpha ,\,\beta } }$ [примечание 6]	${\displaystyle \mathbf {\alpha } +{\frac {n}{2}},\,\mathbf {\beta } +{\frac {\sum _{i=1}^{n}{(x_{i}-\mu )^{2}}}{2}}}$	Дисперсия оценивалась на основе наблюдений с выборочной дисперсией (т.е. с суммой квадратов отклонений , где отклонения от известного среднего значения )${\displaystyle 2\alpha }$${\displaystyle \beta /\alpha }$ ${\displaystyle 2\beta }$${\displaystyle \mu }$	${\displaystyle t_{2\alpha '}({\tilde {x}}|\mu ,\sigma ^{2}=\beta '/\alpha ')}$[4]
Нормальный с известным средним μ	σ 2 (дисперсия)	Масштабированный обратный хи-квадрат	${\displaystyle \nu ,\,\sigma _{0}^{2}\!}$	${\displaystyle \nu +n,\,{\frac {\nu \sigma _{0}^{2}+\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{\nu +n}}\!}$	дисперсия оценивалась на основе наблюдений с выборочной дисперсией${\displaystyle \nu }$${\displaystyle \sigma _{0}^{2}}$	${\displaystyle t_{\nu '}({\tilde {x}}|\mu ,{\sigma _{0}^{2}}')}$[4]
Нормальный с известным средним μ	τ (точность)	Гамма	${\displaystyle \alpha ,\,\beta \!}$ [примечание 4]	${\displaystyle \alpha +{\frac {n}{2}},\,\beta +{\frac {\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{2}}\!}$	Точность оценивалась на основе наблюдений с выборочной дисперсией (т.е. с суммой квадратов отклонений , где отклонения от известного среднего значения )${\displaystyle 2\alpha }$${\displaystyle \beta /\alpha }$ ${\displaystyle 2\beta }$${\displaystyle \mu }$	${\displaystyle t_{2\alpha '}({\tilde {x}}\mid \mu ,\sigma ^{2}=\beta '/\alpha ')}$[4]
Нормально [примечание 7]	μ и σ 2 Предполагая взаимозаменяемость	Нормально-обратная гамма	${\displaystyle \mu _{0},\,\nu ,\,\alpha ,\,\beta }$	${\displaystyle {\frac {\nu \mu _{0}+n{\bar {x}}}{\nu +n}},\,\nu +n,\,\alpha +{\frac {n}{2}},\,}$ ${\displaystyle \beta +{\tfrac {1}{2}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}+{\frac {n\nu }{\nu +n}}{\frac {({\bar {x}}-\mu _{0})^{2}}{2}}}$ ${\displaystyle {\bar {x}}}$это выборочное среднее	среднее значение оценивалось по наблюдениям с выборочным средним ; дисперсия оценивалась по наблюдениям с выборочным средним и суммой квадратов отклонений${\displaystyle \nu }$${\displaystyle \mu _{0}}$${\displaystyle 2\alpha }$${\displaystyle \mu _{0}}$ ${\displaystyle 2\beta }$	${\displaystyle t_{2\alpha '}\left({\tilde {x}}\mid \mu ',{\frac {\beta '(\nu '+1)}{\nu '\alpha '}}\right)}$[4]
Нормальный	μ и τ Предполагая взаимозаменяемость	Нормальная гамма	${\displaystyle \mu _{0},\,\nu ,\,\alpha ,\,\beta }$	${\displaystyle {\frac {\nu \mu _{0}+n{\bar {x}}}{\nu +n}},\,\nu +n,\,\alpha +{\frac {n}{2}},\,}$ ${\displaystyle \beta +{\tfrac {1}{2}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}+{\frac {n\nu }{\nu +n}}{\frac {({\bar {x}}-\mu _{0})^{2}}{2}}}$ ${\displaystyle {\bar {x}}}$это выборочное среднее	Среднее значение оценивалось по наблюдениям с использованием выборочного среднего значения , а точность оценивалась по наблюдениям с использованием выборочного среднего значения и суммы квадратов отклонений.${\displaystyle \nu }$${\displaystyle \mu _{0}}$${\displaystyle 2\alpha }$${\displaystyle \mu _{0}}$ ${\displaystyle 2\beta }$	${\displaystyle t_{2\alpha '}\left({\tilde {x}}\mid \mu ',{\frac {\beta '(\nu '+1)}{\alpha '\nu '}}\right)}$[4]
Многомерное нормальное с известной ковариационной матрицей Σ	μ (средний вектор)	Многомерный нормальный	${\displaystyle {\boldsymbol {\boldsymbol {\mu }}}_{0},\,{\boldsymbol {\Sigma }}_{0}}$	${\displaystyle \left({\boldsymbol {\Sigma }}_{0}^{-1}+n{\boldsymbol {\Sigma }}^{-1}\right)^{-1}\left({\boldsymbol {\Sigma }}_{0}^{-1}{\boldsymbol {\mu }}_{0}+n{\boldsymbol {\Sigma }}^{-1}\mathbf {\bar {x}} \right),}$ ${\displaystyle \left({\boldsymbol {\Sigma }}_{0}^{-1}+n{\boldsymbol {\Sigma }}^{-1}\right)^{-1}}$ ${\displaystyle \mathbf {\bar {x}} }$это выборочное среднее	среднее значение было оценено на основе наблюдений с общей точностью (сумма всех индивидуальных точностей) и с выборочным средним${\displaystyle {\boldsymbol {\Sigma }}_{0}^{-1}}$${\displaystyle {\boldsymbol {\mu }}_{0}}$	${\displaystyle {\mathcal {N}}({\tilde {\mathbf {x} }}\mid {{\boldsymbol {\mu }}_{0}}',{{\boldsymbol {\Sigma }}_{0}}'+{\boldsymbol {\Sigma }})}$[4]
Многомерная нормальная с известной точностью матрицы Λ	μ (средний вектор)	Многомерный нормальный	${\displaystyle \mathbf {\boldsymbol {\mu }} _{0},\,{\boldsymbol {\Lambda }}_{0}}$	${\displaystyle \left({\boldsymbol {\Lambda }}_{0}+n{\boldsymbol {\Lambda }}\right)^{-1}\left({\boldsymbol {\Lambda }}_{0}{\boldsymbol {\mu }}_{0}+n{\boldsymbol {\Lambda }}\mathbf {\bar {x}} \right),\,\left({\boldsymbol {\Lambda }}_{0}+n{\boldsymbol {\Lambda }}\right)}$ ${\displaystyle \mathbf {\bar {x}} }$это выборочное среднее	среднее значение было оценено на основе наблюдений с общей точностью (сумма всех индивидуальных точностей) и с выборочным средним${\displaystyle {\boldsymbol {\Lambda }}_{0}}$${\displaystyle {\boldsymbol {\mu }}_{0}}$	${\displaystyle {\mathcal {N}}\left({\tilde {\mathbf {x} }}\mid {{\boldsymbol {\mu }}_{0}}',{{{\boldsymbol {\Lambda }}_{0}}'}^{-1}+{\boldsymbol {\Lambda }}^{-1}\right)}$[4]
Многомерное нормальное с известным средним μ	Σ (ковариационная матрица)	Обратный-Уишарт	${\displaystyle \nu ,\,{\boldsymbol {\Psi }}}$	${\displaystyle n+\nu ,\,{\boldsymbol {\Psi }}+\sum _{i=1}^{n}(\mathbf {x_{i}} -{\boldsymbol {\mu }})(\mathbf {x_{i}} -{\boldsymbol {\mu }})^{T}}$	Ковариационная матрица была оценена из наблюдений с суммой произведений парных отклонений${\displaystyle \nu }$${\displaystyle {\boldsymbol {\Psi }}}$	${\displaystyle t_{\nu '-p+1}\left({\tilde {\mathbf {x} }}|{\boldsymbol {\mu }},{\frac {1}{\nu '-p+1}}{\boldsymbol {\Psi }}'\right)}$[4]
Многомерное нормальное с известным средним μ	Λ (матрица точности)	Уишарт	${\displaystyle \nu ,\,\mathbf {V} }$	${\displaystyle n+\nu ,\,\left(\mathbf {V} ^{-1}+\sum _{i=1}^{n}(\mathbf {x_{i}} -{\boldsymbol {\mu }})(\mathbf {x_{i}} -{\boldsymbol {\mu }})^{T}\right)^{-1}}$	Ковариационная матрица была оценена из наблюдений с суммой произведений парных отклонений${\displaystyle \nu }$${\displaystyle \mathbf {V} ^{-1}}$	${\displaystyle t_{\nu '-p+1}\left({\tilde {\mathbf {x} }}\mid {\boldsymbol {\mu }},{\frac {1}{\nu '-p+1}}{\mathbf {V} '}^{-1}\right)}$[4]
Многомерный нормальный	μ (средний вектор) и Σ (ковариационная матрица)	нормальный-обратный-Уишарт	${\displaystyle {\boldsymbol {\mu }}_{0},\,\kappa _{0},\,\nu _{0},\,{\boldsymbol {\Psi }}}$	${\displaystyle {\frac {\kappa _{0}{\boldsymbol {\mu }}_{0}+n\mathbf {\bar {x}} }{\kappa _{0}+n}},\,\kappa _{0}+n,\,\nu _{0}+n,\,}$ ${\displaystyle {\boldsymbol {\Psi }}+\mathbf {C} +{\frac {\kappa _{0}n}{\kappa _{0}+n}}(\mathbf {\bar {x}} -{\boldsymbol {\mu }}_{0})(\mathbf {\bar {x}} -{\boldsymbol {\mu }}_{0})^{T}}$ ${\displaystyle \mathbf {\bar {x}} }$это выборочное среднее ${\displaystyle \mathbf {C} =\sum _{i=1}^{n}(\mathbf {x_{i}} -\mathbf {\bar {x}} )(\mathbf {x_{i}} -\mathbf {\bar {x}} )^{T}}$	среднее значение оценивалось из наблюдений с помощью выборочного среднего ; ковариационная матрица оценивалась из наблюдений с помощью выборочного среднего и суммы произведений парных отклонений${\displaystyle \kappa _{0}}$${\displaystyle {\boldsymbol {\mu }}_{0}}$${\displaystyle \nu _{0}}$${\displaystyle {\boldsymbol {\mu }}_{0}}$${\displaystyle {\boldsymbol {\Psi }}=\nu _{0}{\boldsymbol {\Sigma }}_{0}}$	${\displaystyle t_{{\nu _{0}}'-p+1}\left({\tilde {\mathbf {x} }}|{{\boldsymbol {\mu }}_{0}}',{\frac {{\kappa _{0}}'+1}{{\kappa _{0}}'({\nu _{0}}'-p+1)}}{\boldsymbol {\Psi }}'\right)}$[4]
Многомерный нормальный	μ (средний вектор) и Λ (матрица точности)	нормальный-Уишарт	${\displaystyle {\boldsymbol {\mu }}_{0},\,\kappa _{0},\,\nu _{0},\,\mathbf {V} }$	${\displaystyle {\frac {\kappa _{0}{\boldsymbol {\mu }}_{0}+n\mathbf {\bar {x}} }{\kappa _{0}+n}},\,\kappa _{0}+n,\,\nu _{0}+n,\,}$ ${\displaystyle \left(\mathbf {V} ^{-1}+\mathbf {C} +{\frac {\kappa _{0}n}{\kappa _{0}+n}}(\mathbf {\bar {x}} -{\boldsymbol {\mu }}_{0})(\mathbf {\bar {x}} -{\boldsymbol {\mu }}_{0})^{T}\right)^{-1}}$ ${\displaystyle \mathbf {\bar {x}} }$это выборочное среднее ${\displaystyle \mathbf {C} =\sum _{i=1}^{n}(\mathbf {x_{i}} -\mathbf {\bar {x}} )(\mathbf {x_{i}} -\mathbf {\bar {x}} )^{T}}$	среднее значение оценивалось из наблюдений с помощью выборочного среднего ; ковариационная матрица оценивалась из наблюдений с помощью выборочного среднего и суммы произведений парных отклонений${\displaystyle \kappa _{0}}$${\displaystyle {\boldsymbol {\mu }}_{0}}$${\displaystyle \nu _{0}}$${\displaystyle {\boldsymbol {\mu }}_{0}}$${\displaystyle \mathbf {V} ^{-1}}$	${\displaystyle t_{{\nu _{0}}'-p+1}\left({\tilde {\mathbf {x} }}\mid {{\boldsymbol {\mu }}_{0}}',{\frac {{\kappa _{0}}'+1}{{\kappa _{0}}'({\nu _{0}}'-p+1)}}{\mathbf {V} '}^{-1}\right)}$[4]
Униформа	${\displaystyle U(0,\theta )\!}$	Парето	${\displaystyle x_{m},\,k\!}$	${\displaystyle \max\{\,x_{1},\ldots ,x_{n},x_{\mathrm {m} }\},\,k+n\!}$	${\displaystyle k}$наблюдения с максимальным значением${\displaystyle x_{m}}$
Парето с известным минимумом x m	к (форма)	Гамма	${\displaystyle \alpha ,\,\beta \!}$	${\displaystyle \alpha +n,\,\beta +\sum _{i=1}^{n}\ln {\frac {x_{i}}{x_{\mathrm {m} }}}\!}$	${\displaystyle \alpha }$наблюдения с суммой порядка величины каждого наблюдения (т.е. логарифмом отношения каждого наблюдения к минимуму )${\displaystyle \beta }$${\displaystyle x_{m}}$
Вейбулл с известной формой β	θ (масштаб)	Обратная гамма [3]	${\displaystyle a,b\!}$	${\displaystyle a+n,\,b+\sum _{i=1}^{n}x_{i}^{\beta }\!}$	${\displaystyle a}$наблюдения с суммой β' -й степени каждого наблюдения${\displaystyle b}$
Логнормальный	То же самое, что и для нормального распределения после применения натурального логарифма к данным для апостериорных гиперпараметров. Пожалуйста, обратитесь к Fink (1997, стр. 21–22), чтобы увидеть подробности.
Экспоненциальный	λ (скорость)	Гамма	${\displaystyle \alpha ,\,\beta \!}$ [примечание 4]	${\displaystyle \alpha +n,\,\beta +\sum _{i=1}^{n}x_{i}\!}$	${\displaystyle \alpha }$наблюдения, которые в сумме дают [5]${\displaystyle \beta }$	${\displaystyle \operatorname {Lomax} ({\tilde {x}}\mid \beta ',\alpha ')}$ ( Распределение Ломакса )
Гамма с известной формой α	β (скорость)	Гамма	${\displaystyle \alpha _{0},\,\beta _{0}\!}$	${\displaystyle \alpha _{0}+n\alpha ,\,\beta _{0}+\sum _{i=1}^{n}x_{i}\!}$	${\displaystyle \alpha _{0}/\alpha }$наблюдения с суммой${\displaystyle \beta _{0}}$	${\displaystyle \operatorname {CG} ({\tilde {\mathbf {x} }}\mid \alpha ,{\alpha _{0}}',{\beta _{0}}')=\operatorname {\beta '} ({\tilde {\mathbf {x} }}|\alpha ,{\alpha _{0}}',1,{\beta _{0}}')}$ [примечание 8]
Обратная гамма с известной формой α	β (обратная шкала)	Гамма	${\displaystyle \alpha _{0},\,\beta _{0}\!}$	${\displaystyle \alpha _{0}+n\alpha ,\,\beta _{0}+\sum _{i=1}^{n}{\frac {1}{x_{i}}}\!}$	${\displaystyle \alpha _{0}/\alpha }$наблюдения с суммой${\displaystyle \beta _{0}}$
Гамма с известной скоростью β	α (форма)	${\displaystyle \propto {\frac {a^{\alpha -1}\beta ^{\alpha c}}{\Gamma (\alpha )^{b}}}}$	${\displaystyle a,\,b,\,c\!}$	${\displaystyle a\prod _{i=1}^{n}x_{i},\,b+n,\,c+n\!}$	${\displaystyle b}$или наблюдения ( для оценки , для оценки ) с произведением${\displaystyle c}$${\displaystyle b}$${\displaystyle \alpha }$${\displaystyle c}$${\displaystyle \beta }$${\displaystyle a}$
Гамма [3]	α (форма), β (обратный масштаб)	${\displaystyle \propto {\frac {p^{\alpha -1}e^{-\beta q}}{\Gamma (\alpha )^{r}\beta ^{-\alpha s}}}}$	${\displaystyle p,\,q,\,r,\,s\!}$	${\displaystyle p\prod _{i=1}^{n}x_{i},\,q+\sum _{i=1}^{n}x_{i},\,r+n,\,s+n\!}$	${\displaystyle \alpha }$оценивалось по наблюдениям с произведением ; оценивалось по наблюдениям с суммой${\displaystyle r}$${\displaystyle p}$${\displaystyle \beta }$${\displaystyle s}$${\displaystyle q}$
Бета	α , β	${\displaystyle \propto {\frac {\Gamma (\alpha +\beta )^{k}\,p^{\alpha }\,q^{\beta }}{\Gamma (\alpha )^{k}\,\Gamma (\beta )^{k}}}}$	${\displaystyle p,\,q,\,k\!}$	${\displaystyle p\prod _{i=1}^{n}x_{i},\,q\prod _{i=1}^{n}(1-x_{i}),\,k+n\!}$	${\displaystyle \alpha }$и были оценены из наблюдений с произведением и произведением комплементов${\displaystyle \beta }$${\displaystyle k}$${\displaystyle p}$${\displaystyle q}$

• Бета-биномиальное распределение