Нормально-обратное распределение Уишарта

нормальный-обратный-Уишарт

Обозначение	${\displaystyle ({\boldsymbol {\mu }}, {\boldsymbol {\Sigma }})\sim \mathrm {NIW} ({\boldsymbol {\mu }}_{0},\lambda, {\boldsymbol { \Пси }},\nu )}$
Параметры	${\displaystyle {\boldsymbol {\mu }}_{0}\in \mathbb {R} ^{D}\,}$ местоположение (вектор вещественного ) (вещественное) матрица обратного масштаба ( положит. определение ) (вещественное) ${\displaystyle \лямбда >0\,}$ ${\displaystyle {\boldsymbol {\Psi }}\in \mathbb {R} ^{D\times D}}$ ${\displaystyle \nu >D-1\,}$
Поддерживать	${\displaystyle {\boldsymbol {\mu }}\in \mathbb {R} ^{D};{\boldsymbol {\Sigma }}\in \mathbb {R} ^{D\times D}}$ Ковариационная матрица ( полож. определение )
PDF	${\displaystyle f({\boldsymbol {\mu }}, {\boldsymbol {\Sigma }}|{\boldsymbol {\mu }}_{0},\lambda, {\boldsymbol {\Psi }},\nu )={\mathcal {N}}({\boldsymbol {\mu }}|{\boldsymbol {\mu }}_{0},{\tfrac {1}{\lambda }}{\boldsymbol {\Sigma }})\ {\mathcal {W}}^{-1}({\boldsymbol {\Sigma }}| {\boldsymbol {\Psi }},\nu )}$

В теории вероятностей и статистике нормальное -обратное-распределение Уишарта (или гауссово-обратное-распределение Уишарта ) — это многомерное семейство непрерывных вероятностных распределений с четырьмя параметрами . Это сопряженное априорное распределение многомерного нормального распределения с неизвестным средним значением и ковариационной матрицей (обратной матрице точности ). ^[1]

Предполагать

${\displaystyle {\boldsymbol {\mu }}|{\boldsymbol {\mu }}_{0},\lambda ,{\boldsymbol {\Sigma }}\sim {\mathcal {N}}\left({\boldsymbol {\mu }}{\Big |}{\boldsymbol {\mu }}_{0},{\frac {1}{\lambda }}{\boldsymbol {\Sigma }}\right)}$

имеет многомерное нормальное распределение со средним значением и ковариационной матрицей , где${\displaystyle {\boldsymbol {\mu }}_{0}}$ ${\displaystyle {\tfrac {1}{\lambda }}{\boldsymbol {\Sigma }}}$

${\displaystyle {\boldsymbol {\Sigma }}|{\boldsymbol {\Psi }},\nu \sim {\mathcal {W}}^{-1}({\boldsymbol {\Sigma }}|{\boldsymbol {\Пси }},\ну )}$

имеет обратное распределение Уишарта . Тогда имеет нормальное-обратное-распределение Уишарта, обозначаемое как${\displaystyle ({\boldsymbol {\mu }}, {\boldsymbol {\Sigma }})}$

${\displaystyle ({\boldsymbol {\mu }}, {\boldsymbol {\Sigma }})\sim \mathrm {NIW} ({\boldsymbol {\mu }}_{0},\lambda, {\boldsymbol { \Psi }},\nu ).}$

${\displaystyle f({\boldsymbol {\mu }},{\boldsymbol {\Sigma }}|{\boldsymbol {\mu }}_{0},\lambda ,{\boldsymbol {\Psi }},\nu )={\mathcal {N}}\left({\boldsymbol {\mu }}{\Big |}{\boldsymbol {\mu }}_{0},{\frac {1}{\lambda }}{\boldsymbol {\Sigma }}\right){\mathcal {W}}^{-1}({\boldsymbol {\Sigma }}|{\boldsymbol {\Psi }},\nu )}$

Полная версия PDF-файла выглядит следующим образом: ^[2]

${\displaystyle f({\boldsymbol {\mu }}, {\boldsymbol {\Sigma }}|{\boldsymbol {\mu }}_{0},\lambda, {\boldsymbol {\Psi }},\nu )={\frac {\lambda ^{D/2}|{\boldsymbol {\Psi }}|^{\nu /2}|{\boldsymbol {\Sigma }}|^{-{\frac {\nu +D+2}{2}}}}{(2\pi )^{D/2}2^{\frac {\nu D}{2}}\Gamma _{D}({\frac {\nu }{2}})}}{\text{exp}}\left\{-{\frac {1}{2 }}Tr({\boldsymbol {\Пси \Сигма }}^{-1})-{\frac {\lambda }{2}}({\boldsymbol {\mu }}-{\boldsymbol {\mu }}_{0})^{T}{\boldsymbol {\Сигма}}^{-1}({\boldsymbol {\мю}}-{\boldsymbol {\мю}}_{0})\right\}}$

Здесь — многомерная гамма-функция, а — след заданной матрицы.${\displaystyle \Гамма _{D}[\cdot ]}$${\displaystyle Tr({\boldsymbol {\Psi }})}$

По построению предельное распределение над является обратным распределением Уишарта , а условное распределение над заданным является многомерным нормальным распределением . Предельное распределение над является многомерным t-распределением .${\displaystyle {\boldsymbol {\Sigma }}}$${\displaystyle {\boldsymbol {\mu }}}$${\displaystyle {\boldsymbol {\Sigma }}}$${\displaystyle {\boldsymbol {\mu }}}$

Предположим, что плотность выборки представляет собой многомерное нормальное распределение.

${\displaystyle {\boldsymbol {y_{i}}}|{\boldsymbol {\mu }},{\boldsymbol {\Sigma }}\sim {\mathcal {N}}_{p}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})}$

где — матрица, а (длиной ) — строка матрицы.${\displaystyle {\boldsymbol {y}}}$${\displaystyle n\times p}$${\displaystyle {\boldsymbol {y_{i}}}}$${\displaystyle p}$${\displaystyle i}$

При неизвестном среднем значении и матрице ковариации выборочного распределения мы можем применить нормально-обратное распределение Уишарта к параметрам среднего значения и ковариации совместно.

${\displaystyle ({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})\sim \mathrm {NIW} ({\boldsymbol {\mu }}_{0},\lambda ,{\boldsymbol {\Psi }},\nu ).}$

Результирующее апостериорное распределение для матрицы среднего и ковариации также будет нормальным-обратным-Уишарта.

${\displaystyle ({\boldsymbol {\mu }},{\boldsymbol {\Sigma }}|y)\sim \mathrm {NIW} ({\boldsymbol {\mu }}_{n},\lambda _{n},{\boldsymbol {\Psi }}_{n},\nu _{n}),}$

где

${\displaystyle {\boldsymbol {\mu }}_{n}={\frac {\lambda {\boldsymbol {\mu }}_{0}+n{\bar {\boldsymbol {y}}}}{\lambda +n}}}$

${\displaystyle \lambda _{n}=\lambda +n}$

${\displaystyle \nu _{n}=\nu +n}$

${\displaystyle {\boldsymbol {\Psi }}_{n}={\boldsymbol {\Psi +S}}+{\frac {\lambda n}{\lambda +n}}({\boldsymbol {{\bar {y}}-\mu _{0}}})({\boldsymbol {{\bar {y}}-\mu _{0}}})^{T}~~~\mathrm {with} ~~{\boldsymbol {S}}=\sum _{i=1}^{n}({\boldsymbol {y_{i}-{\bar {y}}}})({\boldsymbol {y_{i}-{\bar {y}}}})^{T}}$.

Для выборки из совместного апостериора , просто извлекаются образцы из , затем рисуется . Для извлечения из апостериора предсказывающего нового наблюдения, рисуется , учитывая уже нарисованные значения и . ^[3]${\displaystyle ({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})}$${\displaystyle {\boldsymbol {\Sigma }}|{\boldsymbol {y}}\sim {\mathcal {W}}^{-1}({\boldsymbol {\Psi }}_{n},\nu _{n})}$${\displaystyle {\boldsymbol {\mu }}|{\boldsymbol {\Sigma ,y}}\sim {\mathcal {N}}_{p}({\boldsymbol {\mu }}_{n},{\boldsymbol {\Sigma }}/\lambda _{n})}$${\displaystyle {\boldsymbol {\tilde {y}}}|{\boldsymbol {\mu ,\Sigma ,y}}\sim {\mathcal {N}}_{p}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})}$${\displaystyle {\boldsymbol {\mu }}}$${\displaystyle {\boldsymbol {\Sigma }}}$

Генерация случайных величин проста:

1. Выборка из обратного распределения Уишарта с параметрами и${\displaystyle {\boldsymbol {\Sigma }}}$${\displaystyle {\boldsymbol {\Psi }}}$${\displaystyle \nu }$
2. Выборка из многомерного нормального распределения со средним значением и дисперсией${\displaystyle {\boldsymbol {\mu }}}$${\displaystyle {\boldsymbol {\mu }}_{0}}$${\displaystyle {\boldsymbol {\tfrac {1}{\lambda }}}{\boldsymbol {\Sigma }}}$

• Нормальное распределение Уишарта по сути то же самое распределение, параметризованное точностью, а не дисперсией. Если то .${\displaystyle ({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})\sim \mathrm {NIW} ({\boldsymbol {\mu }}_{0},\lambda ,{\boldsymbol {\Psi }},\nu )}$${\displaystyle ({\boldsymbol {\mu }},{\boldsymbol {\Sigma }}^{-1})\sim \mathrm {NW} ({\boldsymbol {\mu }}_{0},\lambda ,{\boldsymbol {\Psi }}^{-1},\nu )}$
• Нормально -обратное гамма-распределение является одномерным эквивалентом.
• Многомерное нормальное распределение и обратное распределение Уишарта являются компонентами распределений, из которых состоит это распределение.

• Бишоп, Кристофер М. (2006). Распознавание образов и машинное обучение. Springer Science+Business Media.
• Мерфи, Кевин П. (2007). «Сопряженный байесовский анализ гауссовского распределения». [2]