Многомерное нормальное распределение

Многомерный нормальный

Функция плотности вероятности Множество точек выборки из многомерного нормального распределения с и , показанные вместе с эллипсом с 3 сигмами, двумя маргинальными распределениями и двумя гистограммами 1-d.${\displaystyle {\boldsymbol {\mu }}=\left[{\begin{smallmatrix}0\\0\end{smallmatrix}}\right]}$${\displaystyle {\boldsymbol {\Sigma }}=\left[{\begin{smallmatrix}1&3/5\\3/5&2\end{smallmatrix}}\right]}$
Обозначение	${\displaystyle {\mathcal {N}}({\boldsymbol {\mu }},\, {\boldsymbol {\Sigma }})}$
Параметры	µ ∈ R k — местоположение Σ ∈ R k  ×  k — ковариация ( положительная полуопределенная матрица )
Поддерживать	x ∈ μ + span( Σ ) ⊆ R k
PDF	${\displaystyle (2\pi )^{-k/2}\det({\boldsymbol {\Sigma }})^{-1/2}\,\exp \left(-{\frac {1}{2}}(\mathbf {x} -{\boldsymbol {\mu }})^{\mathrm {T} }{\boldsymbol {\Sigma }}^{-1}(\mathbf {x} -{\boldsymbol {\mu }})\right),}$ существует только тогда, когда Σ положительно определена
Иметь в виду	μ
Режим	μ
Дисперсия	Σ
Энтропия	${\displaystyle {\frac {k}{2}}\log {\mathord {\left(2\pi \mathrm {e} \right)}}+{\frac {1}{2}}\log \det {\mathord {\left({\boldsymbol {\Sigma }}\right)}}}$
МГФ	${\displaystyle \exp \!{\Big (}{\boldsymbol {\mu }}^{\mathrm {T} }\mathbf {t} +{\tfrac {1}{2}}\mathbf {t} ^{\mathrm {T} }{\boldsymbol {\Sigma }}\mathbf {t} {\Big )}}$
CF	${\displaystyle \exp \!{\Big (}i{\boldsymbol {\mu }}^{\mathrm {T} }\mathbf {t} -{\tfrac {1}{2}}\mathbf {t} ^{\mathrm {T} }{\boldsymbol {\Sigma }}\mathbf {t} {\Big )}}$
Расхождение Кульбака–Лейблера	См. § Расхождение Кульбака–Лейблера

В теории вероятностей и статистике многомерное нормальное распределение , многомерное гауссовское распределение или совместное нормальное распределение является обобщением одномерного ( одномерного ) нормального распределения на более высокие измерения . Одно из определений состоит в том, что случайный вектор называется k -мерным нормально распределенным, если каждая линейная комбинация его k компонентов имеет одномерное нормальное распределение. Его важность вытекает в основном из многомерной центральной предельной теоремы . Многомерное нормальное распределение часто используется для описания, по крайней мере приблизительно, любого набора (возможно) коррелированных действительных случайных величин , каждая из которых группируется вокруг среднего значения.

Многомерное нормальное распределение k -мерного случайного вектора можно записать в следующей записи:${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }}$

${\displaystyle \mathbf {X} \ \sim \ {\mathcal {N}}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }}),}$

или явно указать, что X является k -мерным,

${\displaystyle \mathbf {X} \ \sim \ {\mathcal {N}}_ {k} ({\boldsymbol {\mu }},\, {\boldsymbol {\Sigma }}),}$

с k -мерным средним вектором

${\displaystyle {\boldsymbol {\mu }}=\operatorname {E} [\mathbf {X} ]=(\operatorname {E} [X_{1}],\operatorname {E} [X_{2}],\ldots ,\operatorname {E} [X_{k}])^{\mathrm {T} },}$

и ковариационная матрица${\displaystyle k\times k}$

${\displaystyle \Sigma _{i,j}=\operatorname {E} [(X_{i}-\mu _{i})(X_{j}-\mu _{j})]=\operatorname {Cov } [X_{i},X_{j}]}$

такая, что и . Обратная матрица ковариации называется матрицей точности и обозначается .${\displaystyle 1\leq i\leq k}$${\displaystyle 1\leq j\leq k}$${\displaystyle {\boldsymbol {Q}}={\boldsymbol {\Sigma }}^{-1}}$

Действительный случайный вектор называется стандартным нормальным случайным вектором, если все его компоненты независимы и каждый из них является нормально распределенной случайной величиной с нулевым средним и единичной дисперсией, т.е. если для всех . ^{[1] : стр. 454}${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }}$${\displaystyle X_{i}}$${\displaystyle X_{i}\sim \ {\mathcal {N}}(0,1)}$${\displaystyle i=1\ldots k}$

Действительный случайный вектор называется центрированным нормальным случайным вектором, если существует матрица, имеющая такое же распределение, как и , где — стандартный нормальный случайный вектор с компонентами. ^{[1] : стр. 454}${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }}$${\displaystyle k\times \ell }$${\displaystyle {\boldsymbol {A}}}$${\displaystyle {\boldsymbol {A}}\mathbf {Z} }$${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {Z} }$${\displaystyle \ell }$

Действительный случайный вектор называется нормальным случайным вектором , если существует случайный -вектор , который является стандартным нормальным случайным вектором, -вектор и матрица , такие, что . ^{[2] : стр. 454  [1] : стр. 455}${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }}$${\displaystyle \ell }$${\displaystyle \mathbf {Z} }$${\displaystyle к}$${\displaystyle {\boldsymbol {\mu }}}$${\displaystyle k\times \ell }$${\displaystyle {\boldsymbol {A}}}$${\displaystyle \mathbf {X} = {\boldsymbol {A}} \mathbf {Z} + {\boldsymbol {\mu }}}$

Формально:

Здесь ковариационная матрица равна .${\displaystyle {\boldsymbol {\Sigma }}={\boldsymbol {A}}{\boldsymbol {A}}^{\mathrm {T} }}$

В вырожденном случае, когда ковариационная матрица является сингулярной , соответствующее распределение не имеет плотности; подробности см. в разделе ниже. Этот случай часто возникает в статистике ; например, в распределении вектора остатков в обычной регрессии наименьших квадратов . В общем случае они не являются независимыми; их можно рассматривать как результат применения матрицы к набору независимых гауссовских переменных .${\displaystyle X_{i}}$${\displaystyle {\boldsymbol {A}}}$${\displaystyle \mathbf {Z} }$

Следующие определения эквивалентны определению, данному выше. Случайный вектор имеет многомерное нормальное распределение, если он удовлетворяет одному из следующих эквивалентных условий.${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }}$

• Каждая линейная комбинация ее компонентов распределена нормально . То есть, для любого постоянного вектора случайная величина имеет одномерное нормальное распределение, где одномерное нормальное распределение с нулевой дисперсией представляет собой точечную массу на своем среднем значении.${\displaystyle Y=a_{1}X_{1}+\cdots +a_{k}X_{k}}$${\displaystyle \mathbf {a} \in \mathbb {R} ^{k}}$${\displaystyle Y=\mathbf {a} ^{\mathrm {T} }\mathbf {X} }$
• Существует k -вектор и симметричная, положительно полуопределенная матрица , такая, что характеристическая функция имеет вид${\displaystyle \mathbf {\mu } }$ ${\displaystyle k\times k}$${\displaystyle {\boldsymbol {\Sigma }}}$${\displaystyle \mathbf {X} }$$${\displaystyle \varphi _{\mathbf {X} }(\mathbf {u} )=\exp {\Big (}i\mathbf {u} ^{\mathrm {T} }{\boldsymbol {\mu }}-{\tfrac {1}{2}}\mathbf {u} ^{\mathrm {T} }{\boldsymbol {\Sigma }}\mathbf {u} {\Big )}.}$$

Сферическое нормальное распределение можно охарактеризовать как уникальное распределение, компоненты которого независимы в любой ортогональной системе координат. ^{[3] [4]}

Многомерное нормальное распределение называется «невырожденным», когда симметричная ковариационная матрица положительно определена . В этом случае распределение имеет плотность ^[5]${\displaystyle {\boldsymbol {\Sigma }}}$

где — действительный k -мерный вектор-столбец, а — определитель , также известный как обобщенная дисперсия . Уравнение выше сводится к уравнению одномерного нормального распределения, если — матрица (т. е. одно действительное число).${\displaystyle {\mathbf {x} }}$${\displaystyle |{\boldsymbol {\Sigma }}|\equiv \det {\boldsymbol {\Sigma }}}$${\displaystyle {\boldsymbol {\Sigma }}}$${\displaystyle {\boldsymbol {\Sigma }}}$${\displaystyle 1\times 1}$

Кругово-симметричная версия комплексного нормального распределения имеет несколько иную форму.

Каждое изоплотностное распределение — множество точек в k -мерном пространстве, каждая из которых дает одно и то же значение плотности — представляет собой эллипс или его обобщение в более высокой размерности; следовательно, многомерное нормальное распределение является частным случаем эллиптических распределений .

Величина известна как расстояние Махаланобиса , которое представляет собой расстояние контрольной точки от среднего значения . Квадрат расстояния Махаланобиса разлагается на сумму k членов, каждый из которых является произведением трех значимых компонентов. ^[6] Обратите внимание, что в случае, когда , распределение сводится к одномерному нормальному распределению, а расстояние Махаланобиса сводится к абсолютному значению стандартной оценки . См. также Интервал ниже.${\displaystyle {\sqrt {({\mathbf {x} }-{\boldsymbol {\mu }})^{\mathrm {T} }{\boldsymbol {\Sigma }}^{-1}({\mathbf {x} }-{\boldsymbol {\mu }})}}}$${\displaystyle {\mathbf {x} }}$${\displaystyle {\boldsymbol {\mu }}}$${\displaystyle ({\mathbf {x} }-{\boldsymbol {\mu }})^{\mathrm {T} }{\boldsymbol {\Sigma }}^{-1}({\mathbf {x} }-{\boldsymbol {\mu }})}$${\displaystyle k=1}$

В двумерном несингулярном случае ( ) функция плотности вероятности вектора имеет вид: где — корреляция между и и где и . В этом случае${\displaystyle k=\operatorname {rank} \left(\Sigma \right)=2}$${\displaystyle {\text{[XY]}}\prime }$$${\displaystyle f(x,y)={\frac {1}{2\pi \sigma _{X}\sigma _{Y}{\sqrt {1-\rho ^{2}}}}}\exp \left(-{\frac {1}{2\left[1-\rho ^{2}\right]}}\left[\left({\frac {x-\mu _{X}}{\sigma _{X}}}\right)^{2}-2\rho \left({\frac {x-\mu _{X}}{\sigma _{X}}}\right)\left({\frac {y-\mu _{Y}}{\sigma _{Y}}}\right)+\left({\frac {y-\mu _{Y}}{\sigma _{Y}}}\right)^{2}\right]\right)}$$${\displaystyle \rho }$${\displaystyle X}$${\displaystyle Y}$${\displaystyle \sigma _{X}>0}$${\displaystyle \sigma _{Y}>0}$

${\displaystyle {\boldsymbol {\mu }}={\begin{pmatrix}\mu _{X}\\\mu _{Y}\end{pmatrix}},\quad {\boldsymbol {\Sigma }}={\begin{pmatrix}\sigma _{X}^{2}&\rho \sigma _{X}\sigma _{Y}\\\rho \sigma _{X}\sigma _{Y}&\sigma _{Y}^{2}\end{pmatrix}}.}$

В двумерном случае первое эквивалентное условие для многомерной реконструкции нормальности можно сделать менее ограничительным, поскольку достаточно проверить, что счетное бесконечное множество различных линейных комбинаций и являются нормальными, чтобы сделать вывод о том, что вектор является двумерным нормальным. ^[7]${\displaystyle X}$${\displaystyle Y}$${\displaystyle {\text{[XY]}}\prime }$

Двумерные изоплотностные локусы, построенные на плоскости , представляют собой эллипсы , главные оси которых определяются собственными векторами ковариационной матрицы (большой и малый полудиаметры эллипса равны квадратному корню из упорядоченных собственных значений).${\displaystyle x,y}$${\displaystyle {\boldsymbol {\Sigma }}}$

По мере увеличения абсолютного значения параметра корреляции эти локусы сжимаются к следующей линии:${\displaystyle \rho }$

${\displaystyle y(x)=\operatorname {sgn}(\rho ){\frac {\sigma _{Y}}{\sigma _{X}}}(x-\mu _{X})+\mu _{Y}.}$

Это происходит потому, что это выражение, с (где sgn — знаковая функция ), замененное на , является наилучшим линейным несмещенным прогнозом для заданного значения . ^[8]${\displaystyle \operatorname {sgn}(\rho )}$${\displaystyle \rho }$${\displaystyle Y}$${\displaystyle X}$

Если ковариационная матрица не имеет полного ранга, то многомерное нормальное распределение вырождено и не имеет плотности. Точнее, оно не имеет плотности относительно k -мерной меры Лебега (которая является обычной мерой, предполагаемой в курсах по теории вероятностей на уровне исчисления). Только случайные векторы, распределения которых абсолютно непрерывны относительно меры, считаются имеющими плотность (относительно этой меры). Чтобы говорить о плотностях, но при этом избегать сложностей теории меры, может быть проще ограничить внимание подмножеством координат таким образом, что ковариационная матрица для этого подмножества является положительно определенной; тогда другие координаты можно рассматривать как аффинную функцию этих выбранных координат. ^[9]${\displaystyle {\boldsymbol {\Sigma }}}$${\displaystyle \operatorname {rank} ({\boldsymbol {\Sigma }})}$${\displaystyle \mathbf {x} }$

Чтобы осмысленно говорить о плотностях в особых случаях, мы должны выбрать другую базовую меру. Используя теорему о распаде, мы можем определить ограничение меры Лебега на -мерное аффинное подпространство, где поддерживается гауссовское распределение, т.е. . Относительно этой меры распределение имеет плотность следующего мотива:${\displaystyle \operatorname {rank} ({\boldsymbol {\Sigma }})}$${\displaystyle \mathbb {R} ^{k}}$${\displaystyle \left\{{\boldsymbol {\mu }}+{\boldsymbol {\Sigma ^{1/2}}}\mathbf {v} :\mathbf {v} \in \mathbb {R} ^{k}\right\}}$

${\displaystyle f(\mathbf {x} )={\frac {\exp \left(-{\frac {1}{2}}\left(\mathbf {x} -{\boldsymbol {\mu }}\right)^{\mathrm {T} }{\boldsymbol {\Sigma }}^{+}\left(\mathbf {x} -{\boldsymbol {\mu }}\right)\right)}{\sqrt {\det \nolimits ^{*}(2\pi {\boldsymbol {\Sigma }})}}}}$

где — обобщенная обратная матрица , а — псевдодетерминант . ^[10]${\displaystyle {\boldsymbol {\Sigma }}^{+}}$${\displaystyle \det \nolimits ^{*}}$

Понятие кумулятивной функции распределения (cdf) в размерности 1 можно расширить двумя способами на многомерный случай, основываясь на прямоугольных и эллипсоидальных областях.

Первый способ — определить функцию распределения случайного вектора как вероятность того, что все компоненты меньше или равны соответствующим значениям в векторе : ^[11]${\displaystyle F(\mathbf {x} )}$${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {x} }$

${\displaystyle F(\mathbf {x} )=\mathbb {P} (\mathbf {X} \leq \mathbf {x} ),\quad {\text{where }}\mathbf {X} \sim {\mathcal {N}}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }}).}$

Хотя для не существует замкнутой формы , существует ряд алгоритмов, которые оценивают ее численно. ^{[11] [12]}${\displaystyle F(\mathbf {x} )}$

Другой способ — определить cdf как вероятность того, что образец находится внутри эллипсоида, определяемого его расстоянием Махаланобиса от гауссовой функции, что является прямым обобщением стандартного отклонения. ^[13] Для вычисления значений этой функции существует замкнутая аналитическая формула ^[13] следующим образом.${\displaystyle F(r)}$ ${\displaystyle r}$

Интервал для многомерного нормального распределения дает область, состоящую из тех векторов x , которые удовлетворяют

${\displaystyle ({\mathbf {x} }-{\boldsymbol {\mu }})^{\mathrm {T} }{\boldsymbol {\Sigma }}^{-1}({\mathbf {x} }-{\boldsymbol {\mu }})\leq \chi _{k}^{2}(p).}$

Здесь — вектор размерности, — известный вектор размерности, — известная ковариационная матрица , — квантильная функция для вероятности распределения хи-квадрат со степенями свободы. ^[14] Когда выражение определяет внутреннюю часть эллипса, а распределение хи-квадрат упрощается до экспоненциального распределения со средним значением, равным двум (скорость равна половине).${\displaystyle {\mathbf {x} }}$${\displaystyle k}$${\displaystyle {\boldsymbol {\mu }}}$${\displaystyle k}$${\displaystyle {\boldsymbol {\Sigma }}}$${\displaystyle \chi _{k}^{2}(p)}$${\displaystyle p}$${\displaystyle k}$${\displaystyle k=2,}$

Дополнительная кумулятивная функция распределения (ccdf) или хвостовое распределение определяется как . Когда , то ccdf можно записать как вероятность максимума зависимых гауссовых переменных: ^[15]${\displaystyle {\overline {F}}(\mathbf {x} )=1-\mathbb {P} \left(\mathbf {X} \leq \mathbf {x} \right)}$${\displaystyle \mathbf {X} \sim {\mathcal {N}}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }})}$

${\displaystyle {\overline {F}}(\mathbf {x} )=\mathbb {P} \left(\bigcup _{i}\{X_{i}\geq x_{i}\}\right)=\mathbb {P} \left(\max _{i}Y_{i}\geq 0\right),\quad {\text{where }}\mathbf {Y} \sim {\mathcal {N}}\left({\boldsymbol {\mu }}-\mathbf {x} ,\,{\boldsymbol {\Sigma }}\right).}$

Хотя не существует простой замкнутой формулы для вычисления ccdf, максимум зависимых гауссовых переменных можно точно оценить с помощью метода Монте-Карло . ^{[15] [16]}

Вероятностное содержание многомерной нормальной функции в квадратичной области, определяемой как (где — матрица, — вектор, а — скаляр), которое имеет отношение к байесовской теории классификации/принятия решений с использованием гауссовского дискриминантного анализа, задается обобщенным распределением хи-квадрат . ^[17] Вероятностное содержание в любой общей области, определяемой как (где — общая функция), можно вычислить с помощью численного метода трассировки лучей ^[17] (код Matlab).${\displaystyle q({\boldsymbol {x}})={\boldsymbol {x}}'\mathbf {Q_{2}} {\boldsymbol {x}}+{\boldsymbol {q_{1}}}'{\boldsymbol {x}}+q_{0}>0}$${\displaystyle \mathbf {Q_{2}} }$${\displaystyle {\boldsymbol {q_{1}}}}$${\displaystyle q_{0}}$${\displaystyle f({\boldsymbol {x}})>0}$${\displaystyle f({\boldsymbol {x}})}$

Моменты k - го порядка x определяются как

${\displaystyle \mu _{1,\ldots ,N}(\mathbf {x} )\mathrel {\stackrel {\mathrm {def} }{=}} \mu _{r_{1},\ldots ,r_{N}}(\mathbf {x} )\mathrel {\stackrel {\mathrm {def} }{=}} \operatorname {E} \left[\prod _{j=1}^{N}X_{j}^{r_{j}}\right]}$

где r ₁ + r ₂ + ⋯ + r _N = k .

Центральные моменты k -го порядка следующие:

где сумма берется по всем распределениям набора в λ (неупорядоченные) пары. То есть, для k -го (= 2 λ = 6) центрального момента, суммируются произведения λ = 3 ковариаций (ожидаемое значение μ принимается равным 0 в интересах экономии):${\displaystyle \left\{1,\ldots ,2\lambda \right\}}$

${\displaystyle {\begin{aligned}&\operatorname {E} [X_{1}X_{2}X_{3}X_{4}X_{5}X_{6}]\\[8pt]={}&\operatorname {E} [X_{1}X_{2}]\operatorname {E} [X_{3}X_{4}]\operatorname {E} [X_{5}X_{6}]+\operatorname {E} [X_{1}X_{2}]\operatorname {E} [X_{3}X_{5}]\operatorname {E} [X_{4}X_{6}]+\operatorname {E} [X_{1}X_{2}]\operatorname {E} [X_{3}X_{6}]\operatorname {E} [X_{4}X_{5}]\\[4pt]&{}+\operatorname {E} [X_{1}X_{3}]\operatorname {E} [X_{2}X_{4}]\operatorname {E} [X_{5}X_{6}]+\operatorname {E} [X_{1}X_{3}]\operatorname {E} [X_{2}X_{5}]\operatorname {E} [X_{4}X_{6}]+\operatorname {E} [X_{1}X_{3}]\operatorname {E} [X_{2}X_{6}]\operatorname {E} [X_{4}X_{5}]\\[4pt]&{}+\operatorname {E} [X_{1}X_{4}]\operatorname {E} [X_{2}X_{3}]\operatorname {E} [X_{5}X_{6}]+\operatorname {E} [X_{1}X_{4}]\operatorname {E} [X_{2}X_{5}]\operatorname {E} [X_{3}X_{6}]+\operatorname {E} [X_{1}X_{4}]\operatorname {E} [X_{2}X_{6}]\operatorname {E} [X_{3}X_{5}]\\[4pt]&{}+\operatorname {E} [X_{1}X_{5}]\operatorname {E} [X_{2}X_{3}]\operatorname {E} [X_{4}X_{6}]+\operatorname {E} [X_{1}X_{5}]\operatorname {E} [X_{2}X_{4}]\operatorname {E} [X_{3}X_{6}]+\operatorname {E} [X_{1}X_{5}]\operatorname {E} [X_{2}X_{6}]\operatorname {E} [X_{3}X_{4}]\\[4pt]&{}+\operatorname {E} [X_{1}X_{6}]\operatorname {E} [X_{2}X_{3}]\operatorname {E} [X_{4}X_{5}]+\operatorname {E} [X_{1}X_{6}]\operatorname {E} [X_{2}X_{4}]\operatorname {E} [X_{3}X_{5}]+\operatorname {E} [X_{1}X_{6}]\operatorname {E} [X_{2}X_{5}]\operatorname {E} [X_{3}X_{4}].\end{aligned}}}$

Это дает члены в сумме (15 в приведенном выше случае), каждый из которых является произведением λ (в данном случае 3) ковариаций. Для моментов четвертого порядка (четыре переменные) есть три члена. Для моментов шестого порядка есть 3 × 5 = 15 членов, а для моментов восьмого порядка есть 3 × 5 × 7 = 105 членов.${\displaystyle {\tfrac {(2\lambda -1)!}{2^{\lambda -1}(\lambda -1)!}}}$

Затем ковариации определяются путем замены членов списка соответствующими членами списка, состоящего из r ₁ единиц, затем r ₂ двоек и т. д. Чтобы проиллюстрировать это, рассмотрим следующий случай центрального момента 4-го порядка:${\displaystyle [1,\ldots ,2\lambda ]}$

${\displaystyle {\begin{aligned}\operatorname {E} \left[X_{i}^{4}\right]&=3\sigma _{ii}^{2}\\[4pt]\operatorname {E} \left[X_{i}^{3}X_{j}\right]&=3\sigma _{ii}\sigma _{ij}\\[4pt]\operatorname {E} \left[X_{i}^{2}X_{j}^{2}\right]&=\sigma _{ii}\sigma _{jj}+2\sigma _{ij}^{2}\\[4pt]\operatorname {E} \left[X_{i}^{2}X_{j}X_{k}\right]&=\sigma _{ii}\sigma _{jk}+2\sigma _{ij}\sigma _{ik}\\[4pt]\operatorname {E} \left[X_{i}X_{j}X_{k}X_{n}\right]&=\sigma _{ij}\sigma _{kn}+\sigma _{ik}\sigma _{jn}+\sigma _{in}\sigma _{jk}.\end{aligned}}}$

где — ковариация X _i и X _j . С помощью вышеописанного метода сначала находят общий случай для k -го момента с k различными переменными X , , а затем упрощают его соответствующим образом. Например, для , полагают X _i = X _j и используют тот факт, что .${\displaystyle \sigma _{ij}}$${\displaystyle E\left[X_{i}X_{j}X_{k}X_{n}\right]}$${\displaystyle \operatorname {E} [X_{i}^{2}X_{k}X_{n}]}$${\displaystyle \sigma _{ii}=\sigma _{i}^{2}}$

Квадратичная форма нормального вектора ( где — матрица, — вектор, а — скаляр), является обобщенной переменной хи-квадрат . ^[17] Направление нормального вектора следует за спроецированным нормальным распределением . ^[18]${\displaystyle {\boldsymbol {x}}}$${\displaystyle q({\boldsymbol {x}})={\boldsymbol {x}}'\mathbf {Q_{2}} {\boldsymbol {x}}+{\boldsymbol {q_{1}}}'{\boldsymbol {x}}+q_{0}}$${\displaystyle \mathbf {Q_{2}} }$${\displaystyle {\boldsymbol {q_{1}}}}$${\displaystyle q_{0}}$

Если — общая скалярная функция нормального вектора, то ее функция плотности вероятности , кумулятивная функция распределения и обратная кумулятивная функция распределения могут быть вычислены с помощью численного метода трассировки лучей (код Matlab). ^[17]${\displaystyle f({\boldsymbol {x}})}$

Если известны среднее значение и ковариационная матрица, то логарифм правдоподобия наблюдаемого вектора — это просто логарифм функции плотности вероятности :${\displaystyle {\boldsymbol {x}}}$

${\displaystyle \ln L({\boldsymbol {x}})=-{\frac {1}{2}}\left[\ln(|{\boldsymbol {\Sigma }}|\,)+({\boldsymbol {x}}-{\boldsymbol {\mu }})'{\boldsymbol {\Sigma }}^{-1}({\boldsymbol {x}}-{\boldsymbol {\mu }})+k\ln(2\pi )\right]}$,

Круговая симметричная версия нецентрального комплексного случая, где — вектор комплексных чисел, будет иметь вид${\displaystyle {\boldsymbol {z}}}$

${\displaystyle \ln L({\boldsymbol {z}})=-\ln(|{\boldsymbol {\Sigma }}|\,)-({\boldsymbol {z}}-{\boldsymbol {\mu }})^{\dagger }{\boldsymbol {\Sigma }}^{-1}({\boldsymbol {z}}-{\boldsymbol {\mu }})-k\ln(\pi )}$

т.е. с сопряженной транспозицией (обозначенной ) заменяющей обычную транспозицию (обозначенную ). Это немного отличается от реального случая, поскольку круговая симметричная версия комплексного нормального распределения имеет немного иную форму для константы нормализации .${\displaystyle \dagger }$${\displaystyle '}$

Аналогичное обозначение используется для множественной линейной регрессии . ^[19]

Поскольку логарифм правдоподобия нормального вектора является квадратичной формой нормального вектора, он распределяется как обобщенная переменная хи-квадрат . ^[17]

Дифференциальная энтропия многомерного нормального распределения равна ^[20]

${\displaystyle {\begin{aligned}h\left(f\right)&=-\int _{-\infty }^{\infty }\int _{-\infty }^{\infty }\cdots \int _{-\infty }^{\infty }f(\mathbf {x} )\ln f(\mathbf {x} )\,d\mathbf {x} \\&={\frac {1}{2}}\ln {}\left|2\pi e{\boldsymbol {\Sigma }}\right|={\frac {k}{2}}+{\frac {k}{2}}\ln {}2\pi +{\frac {1}{2}}\ln {}\left|{\boldsymbol {\Sigma }}\right|\\\end{aligned}}}$,

где черточки обозначают определитель матрицы , k — размерность векторного пространства, а результат имеет единицы измерения nats .

Расхождение Кульбака –Лейблера от до для невырожденных матриц Σ ₁ и Σ ₀ равно: ^[21]${\displaystyle {\mathcal {N}}_{1}({\boldsymbol {\mu }}_{1},{\boldsymbol {\Sigma }}_{1})}$${\displaystyle {\mathcal {N}}_{0}({\boldsymbol {\mu }}_{0},{\boldsymbol {\Sigma }}_{0})}$

${\displaystyle D_{\text{KL}}({\mathcal {N}}_{0}\parallel {\mathcal {N}}_{1})={1 \over 2}\left\{\operatorname {tr} \left({\boldsymbol {\Sigma }}_{1}^{-1}{\boldsymbol {\Sigma }}_{0}\right)+\left({\boldsymbol {\mu }}_{1}-{\boldsymbol {\mu }}_{0}\right)^{\rm {T}}{\boldsymbol {\Sigma }}_{1}^{-1}({\boldsymbol {\mu }}_{1}-{\boldsymbol {\mu }}_{0})-k+\ln {|{\boldsymbol {\Sigma }}_{1}| \over |{\boldsymbol {\Sigma }}_{0}|}\right\},}$

где обозначает определитель матрицы , — след , — натуральный логарифм , — размерность векторного пространства.${\displaystyle |\cdot |}$${\displaystyle tr(\cdot )}$${\displaystyle ln(\cdot )}$${\displaystyle k}$

Логарифм должен быть взят по основанию e, поскольку два члена, следующие за логарифмом, сами являются логарифмами по основанию e выражений, которые являются либо факторами функции плотности, либо иным образом возникают естественным образом. Таким образом, уравнение дает результат, измеряемый в nats . Деление всего выражения выше на log _e  2 дает расхождение в bits .

Когда ,${\displaystyle {\boldsymbol {\mu }}_{1}={\boldsymbol {\mu }}_{0}}$

${\displaystyle D_{\text{KL}}({\mathcal {N}}_{0}\parallel {\mathcal {N}}_{1})={1 \over 2}\left\{\operatorname {tr} \left({\boldsymbol {\Sigma }}_{1}^{-1}{\boldsymbol {\Sigma }}_{0}\right)-k+\ln {|{\boldsymbol {\Sigma }}_{1}| \over |{\boldsymbol {\Sigma }}_{0}|}\right\}.}$

Взаимная информация двух многомерных нормальных распределений является частным случаем расхождения Кульбака–Лейблера , в котором есть полное размерное многомерное распределение и есть произведение и размерных маргинальных распределений и , таких что . Взаимная информация между и определяется как: ^[22]${\displaystyle P}$${\displaystyle k}$${\displaystyle Q}$${\displaystyle k_{1}}$${\displaystyle k_{2}}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle k_{1}+k_{2}=k}$${\displaystyle X}$${\displaystyle Y}$

${\displaystyle I({\boldsymbol {X}},{\boldsymbol {Y}})={\frac {1}{2}}\ln \left({\frac {\det(\Sigma _{X})\det(\Sigma _{Y})}{\det(\Sigma )}}\right),}$

где

${\displaystyle \Sigma ={\begin{bmatrix}\Sigma _{X}&\Sigma _{XY}\\\Sigma _{XY}&\Sigma _{Y}\end{bmatrix}}.}$

Если — произведение одномерных нормальных распределений, то в обозначениях раздела «Расхождение Кульбака–Лейблера» этой статьи — диагональная матрица с диагональными элементами , и . Результирующая формула для взаимной информации:${\displaystyle Q}$${\displaystyle k}$${\displaystyle {\boldsymbol {\Sigma }}_{1}}$${\displaystyle {\boldsymbol {\Sigma }}_{0}}$${\displaystyle {\boldsymbol {\mu }}_{1}={\boldsymbol {\mu }}_{0}}$

${\displaystyle I({\boldsymbol {X}})=-{1 \over 2}\ln |{\boldsymbol {\rho }}_{0}|,}$

где — корреляционная матрица, построенная из . ^[23]${\displaystyle {\boldsymbol {\rho }}_{0}}$${\displaystyle {\boldsymbol {\Sigma }}_{0}}$

В двумерном случае выражение для взаимной информации имеет вид:

${\displaystyle I(x;y)=-{1 \over 2}\ln(1-\rho ^{2}).}$

Если и нормально распределены и независимы , это означает, что они «совместно нормально распределены», т. е. пара должна иметь многомерное нормальное распределение. Однако пара совместно нормально распределенных переменных не обязательно должна быть независимой (будет таковой только в случае некоррелированности, ).${\displaystyle X}$${\displaystyle Y}$${\displaystyle (X,Y)}$${\displaystyle \rho =0}$

Тот факт, что две случайные величины и обе имеют нормальное распределение, не означает, что пара имеет совместное нормальное распределение. Простым примером является случай, когда X имеет нормальное распределение с ожидаемым значением 0 и дисперсией 1, и если и если , где . Существуют аналогичные контрпримеры для более чем двух случайных величин. В общем случае они суммируются в модель смеси . ^{[ необходима цитата ]}${\displaystyle X}$${\displaystyle Y}$${\displaystyle (X,Y)}$${\displaystyle Y=X}$${\displaystyle |X|>c}$${\displaystyle Y=-X}$${\displaystyle |X|<c}$${\displaystyle c>0}$

В общем, случайные величины могут быть некоррелированными, но статистически зависимыми. Но если случайный вектор имеет многомерное нормальное распределение, то любые два или более его компонентов, которые некоррелированы, являются независимыми . Это подразумевает, что любые два или более его компонентов, которые попарно независимы, являются независимыми. Но, как было указано выше, неверно, что две случайные величины, которые ( отдельно , маргинально) нормально распределены и некоррелированы, являются независимыми.

Если N -мерный x разбить следующим образом

${\displaystyle \mathbf {x} ={\begin{bmatrix}\mathbf {x} _{1}\\\mathbf {x} _{2}\end{bmatrix}}{\text{ with sizes }}{\begin{bmatrix}q\times 1\\(N-q)\times 1\end{bmatrix}}}$

и соответственно μ и Σ разбиваются следующим образом

${\displaystyle {\boldsymbol {\mu }}={\begin{bmatrix}{\boldsymbol {\mu }}_{1}\\{\boldsymbol {\mu }}_{2}\end{bmatrix}}{\text{ with sizes }}{\begin{bmatrix}q\times 1\\(N-q)\times 1\end{bmatrix}}}$

${\displaystyle {\boldsymbol {\Sigma }}={\begin{bmatrix}{\boldsymbol {\Sigma }}_{11}&{\boldsymbol {\Sigma }}_{12}\\{\boldsymbol {\Sigma }}_{21}&{\boldsymbol {\Sigma }}_{22}\end{bmatrix}}{\text{ with sizes }}{\begin{bmatrix}q\times q&q\times (N-q)\\(N-q)\times q&(N-q)\times (N-q)\end{bmatrix}}}$

тогда распределение x ₁ условное на x ₂ = a является многомерным нормальным ^[24] ( x ₁  |  x ₂ = a ) ~ N ( μ , Σ ) где

${\displaystyle {\bar {\boldsymbol {\mu }}}={\boldsymbol {\mu }}_{1}+{\boldsymbol {\Sigma }}_{12}{\boldsymbol {\Sigma }}_{22}^{-1}\left(\mathbf {a} -{\boldsymbol {\mu }}_{2}\right)}$

и ковариационная матрица

${\displaystyle {\overline {\boldsymbol {\Sigma }}}={\boldsymbol {\Sigma }}_{11}-{\boldsymbol {\Sigma }}_{12}{\boldsymbol {\Sigma }}_{22}^{-1}{\boldsymbol {\Sigma }}_{21}.}$^[25]

Вот обобщенная обратная матрица . Матрица является дополнением Шура Σ ₂₂ в Σ . То есть, уравнение выше эквивалентно инвертированию общей ковариационной матрицы, отбрасыванию строк и столбцов, соответствующих переменным, на которые накладываются условия, и обратному инвертированию для получения условной ковариационной матрицы .${\displaystyle {\boldsymbol {\Sigma }}_{22}^{-1}}$${\displaystyle {\boldsymbol {\Sigma }}_{22}}$${\displaystyle {\overline {\boldsymbol {\Sigma }}}}$

Обратите внимание, что знание того, что x ₂ = a, изменяет дисперсию, хотя новая дисперсия не зависит от конкретного значения a ; возможно, что еще более удивительно, среднее значение смещается на ; сравните это с ситуацией, когда значение a неизвестно , в этом случае x ₁ имело бы распределение .${\displaystyle {\boldsymbol {\Sigma }}_{12}{\boldsymbol {\Sigma }}_{22}^{-1}\left(\mathbf {a} -{\boldsymbol {\mu }}_{2}\right)}$${\displaystyle {\mathcal {N}}_{q}\left({\boldsymbol {\mu }}_{1},{\boldsymbol {\Sigma }}_{11}\right)}$

Интересный факт, полученный для доказательства этого результата, заключается в том, что случайные векторы и независимы.${\displaystyle \mathbf {x} _{2}}$${\displaystyle \mathbf {y} _{1}=\mathbf {x} _{1}-{\boldsymbol {\Sigma }}_{12}{\boldsymbol {\Sigma }}_{22}^{-1}\mathbf {x} _{2}}$

Матрица Σ ₁₂ Σ ₂₂ ⁻¹ известна как матрица коэффициентов регрессии .

В двумерном случае, когда x разбивается на и , условное распределение заданного имеет вид ^[26]${\displaystyle X_{1}}$${\displaystyle X_{2}}$${\displaystyle X_{1}}$${\displaystyle X_{2}}$

${\displaystyle X_{1}\mid X_{2}=a\ \sim \ {\mathcal {N}}\left(\mu _{1}+{\frac {\sigma _{1}}{\sigma _{2}}}\rho (a-\mu _{2}),\,(1-\rho ^{2})\sigma _{1}^{2}\right)}$

где — коэффициент корреляции между и .${\displaystyle \rho }$${\displaystyle X_{1}}$${\displaystyle X_{2}}$

${\displaystyle {\begin{pmatrix}X_{1}\\X_{2}\end{pmatrix}}\sim {\mathcal {N}}\left({\begin{pmatrix}\mu _{1}\\\mu _{2}\end{pmatrix}},{\begin{pmatrix}\sigma _{1}^{2}&\rho \sigma _{1}\sigma _{2}\\\rho \sigma _{1}\sigma _{2}&\sigma _{2}^{2}\end{pmatrix}}\right)}$

Условное ожидание X ₁ при условии X ₂ равно:

${\displaystyle \operatorname {E} (X_{1}\mid X_{2}=x_{2})=\mu _{1}+\rho {\frac {\sigma _{1}}{\sigma _{2}}}(x_{2}-\mu _{2})}$

Доказательство: результат получается путем взятия математического ожидания условного распределения, указанного выше.${\displaystyle X_{1}\mid X_{2}}$

${\displaystyle {\begin{pmatrix}X_{1}\\X_{2}\end{pmatrix}}\sim {\mathcal {N}}\left({\begin{pmatrix}0\\0\end{pmatrix}},{\begin{pmatrix}1&\rho \\\rho &1\end{pmatrix}}\right)}$

Условное ожидание X ₁ при условии X ₂ равно

${\displaystyle \operatorname {E} (X_{1}\mid X_{2}=x_{2})=\rho x_{2}}$

и условная дисперсия равна

${\displaystyle \operatorname {var} (X_{1}\mid X_{2}=x_{2})=1-\rho ^{2};}$

таким образом, условная дисперсия не зависит от x ₂ .

Условное ожидание X ₁ при условии, что X ₂ меньше/больше z , равно: ^{[27] : 367}

${\displaystyle \operatorname {E} (X_{1}\mid X_{2}<z)=-\rho {\varphi (z) \over \Phi (z)},}$

${\displaystyle \operatorname {E} (X_{1}\mid X_{2}>z)=\rho {\varphi (z) \over (1-\Phi (z))},}$

где конечное отношение здесь называется обратным отношением Миллса .

Доказательство: последние два результата получены с использованием результата , так что${\displaystyle \operatorname {E} (X_{1}\mid X_{2}=x_{2})=\rho x_{2}}$

${\displaystyle \operatorname {E} (X_{1}\mid X_{2}<z)=\rho E(X_{2}\mid X_{2}<z)}$а затем используя свойства ожидания усеченного нормального распределения .

Чтобы получить маргинальное распределение по подмножеству многомерных нормальных случайных величин, нужно только отбросить нерелевантные переменные (переменные, которые нужно маргинализировать) из среднего вектора и ковариационной матрицы. Доказательство этого следует из определений многомерных нормальных распределений и линейной алгебры. ^[28]

Пример

Пусть X = [ X ₁ , X ₂ , X ₃ ] — многомерные нормальные случайные величины со средним вектором μ = [ μ ₁ , μ ₂ , μ ₃ ] и ковариационной матрицей Σ (стандартная параметризация для многомерных нормальных распределений). Тогда совместное распределение X ′ = [ X ₁ , X ₃ ] является многомерным нормальным со средним вектором μ ′ = [ μ ₁ , μ ₃ ] и ковариационной матрицей .${\displaystyle {\boldsymbol {\Sigma }}'={\begin{bmatrix}{\boldsymbol {\Sigma }}_{11}&{\boldsymbol {\Sigma }}_{13}\\{\boldsymbol {\Sigma }}_{31}&{\boldsymbol {\Sigma }}_{33}\end{bmatrix}}}$

Если Y = c + BX — аффинное преобразование , где c — вектор констант, а B — константная матрица, то Y имеет многомерное нормальное распределение с ожидаемым значением c + Bμ и дисперсией BΣB ^T т. е . . В частности, любое подмножество X i _имеет маргинальное распределение, которое также является многомерным нормальным. Чтобы увидеть это, рассмотрим следующий пример: чтобы извлечь подмножество ( X ₁ , X ₂ , X ₄ ) ^T , используйте${\displaystyle \mathbf {X} \ \sim {\mathcal {N}}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }}),}$${\displaystyle M\times 1}$${\displaystyle M\times N}$${\displaystyle \mathbf {Y} \sim {\mathcal {N}}\left(\mathbf {c} +\mathbf {B} {\boldsymbol {\mu }},\mathbf {B} {\boldsymbol {\Sigma }}\mathbf {B} ^{\rm {T}}\right)}$

${\displaystyle \mathbf {B} ={\begin{bmatrix}1&0&0&0&0&\ldots &0\\0&1&0&0&0&\ldots &0\\0&0&0&1&0&\ldots &0\end{bmatrix}}}$

который извлекает нужные элементы напрямую.

Другим следствием является то, что распределение Z = b · X , где b — постоянный вектор с тем же числом элементов, что и X , а точка обозначает скалярное произведение , является одномерным гауссовым с . Этот результат следует из использования${\displaystyle Z\sim {\mathcal {N}}\left(\mathbf {b} \cdot {\boldsymbol {\mu }},\mathbf {b} ^{\rm {T}}{\boldsymbol {\Sigma }}\mathbf {b} \right)}$

${\displaystyle \mathbf {B} ={\begin{bmatrix}b_{1}&b_{2}&\ldots &b_{n}\end{bmatrix}}=\mathbf {b} ^{\rm {T}}.}$

Обратите внимание, что положительная определенность Σ подразумевает, что дисперсия скалярного произведения должна быть положительной.

Аффинное преобразование X , такое как 2 X, не является суммой двух независимых реализаций X.

Контуры равной плотности невырожденного многомерного нормального распределения представляют собой эллипсоиды (т.е. аффинные преобразования гиперсфер ), центрированные в среднем. ^[29] Следовательно, многомерное нормальное распределение является примером класса эллиптических распределений . Направления главных осей эллипсоидов задаются собственными векторами ковариационной матрицы . Квадраты относительных длин главных осей задаются соответствующими собственными значениями.${\displaystyle {\boldsymbol {\Sigma }}}$

Если Σ = UΛU ^T = UΛ ^1/2 ( UΛ ^1/2 ) ^T — собственное разложение , где столбцы U — единичные собственные векторы, а Λ — диагональная матрица собственных значений, то мы имеем

${\displaystyle \mathbf {X} \ \sim {\mathcal {N}}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})\iff \mathbf {X} \ \sim {\boldsymbol {\mu }}+\mathbf {U} {\boldsymbol {\Lambda }}^{1/2}{\mathcal {N}}(0,\mathbf {I} )\iff \mathbf {X} \ \sim {\boldsymbol {\mu }}+\mathbf {U} {\mathcal {N}}(0,{\boldsymbol {\Lambda }}).}$

Более того, U можно выбрать в качестве матрицы поворота , поскольку инвертирование оси не оказывает никакого влияния на N (0, Λ ), но инвертирование столбца изменяет знак определителя U. Распределение N ( μ , Σ ) по сути является N (0, I ), масштабированным на Λ ^1/2 , повернутым на U и смещенным на μ .

Наоборот, любой выбор μ , матрицы полного ранга U и положительных диагональных элементов Λ _i дает невырожденное многомерное нормальное распределение. Если любое Λ _i равно нулю, а U является квадратным, результирующая ковариационная матрица UΛU ^T является вырожденной . Геометрически это означает, что каждый контурный эллипсоид бесконечно тонок и имеет нулевой объем в n -мерном пространстве, так как по крайней мере одна из главных осей имеет длину, равную нулю; это вырожденный случай .

«Радиус вокруг истинного среднего значения в двумерной нормальной случайной величине, записанный в полярных координатах (радиус и угол), следует распределению Хойта ». ^[30]

В одном измерении вероятность нахождения образца нормального распределения в интервале составляет приблизительно 68,27%, но в более высоких измерениях вероятность нахождения образца в области эллипса стандартного отклонения ниже. ^[31]${\displaystyle \mu \pm \sigma }$

Вывод оценки максимального правдоподобия ковариационной матрицы многомерного нормального распределения прост.

Короче говоря, функция плотности вероятности (pdf) многомерного нормального распределения равна

${\displaystyle f(\mathbf {x} )={\frac {1}{\sqrt {(2\pi )^{k}|{\boldsymbol {\Sigma }}|}}}\exp \left(-{1 \over 2}(\mathbf {x} -{\boldsymbol {\mu }})^{\rm {T}}{\boldsymbol {\Sigma }}^{-1}({\mathbf {x} }-{\boldsymbol {\mu }})\right)}$

и оценка ML матрицы ковариации из выборки из n наблюдений равна ^[32]

${\displaystyle {\widehat {\boldsymbol {\Sigma }}}={1 \over n}\sum _{i=1}^{n}({\mathbf {x} }_{i}-{\overline {\mathbf {x} }})({\mathbf {x} }_{i}-{\overline {\mathbf {x} }})^{\mathrm {T} }}$

которая является просто выборочной ковариационной матрицей . Это смещенная оценка, чье ожидание равно

${\displaystyle E\left[{\widehat {\boldsymbol {\Sigma }}}\right]={\frac {n-1}{n}}{\boldsymbol {\Sigma }}.}$

Несмещенная выборочная ковариация — это

${\displaystyle {\widehat {\boldsymbol {\Sigma }}}={\frac {1}{n-1}}\sum _{i=1}^{n}(\mathbf {x} _{i}-{\overline {\mathbf {x} }})(\mathbf {x} _{i}-{\overline {\mathbf {x} }})^{\rm {T}}={\frac {1}{n-1}}\left[X'\left(I-{\frac {1}{n}}\cdot J\right)X\right]}$ (матричная форма; — единичная матрица, J — матрица из единиц; член в скобках, таким образом, является центрирующей матрицей)${\displaystyle I}$${\displaystyle K\times K}$${\displaystyle K\times K}$${\displaystyle K\times K}$

Матрица информации Фишера для оценки параметров многомерного нормального распределения имеет выражение замкнутой формы. Это может быть использовано, например, для вычисления границы Крамера–Рао для оценки параметров в этой настройке. См. информацию Фишера для получения более подробной информации.

В байесовской статистике сопряженное априорное распределение среднего вектора является другим многомерным нормальным распределением, а сопряженное априорное распределение ковариационной матрицы является обратным распределением Уишарта . Предположим, что было сделано n наблюдений${\displaystyle {\mathcal {W}}^{-1}}$

${\displaystyle \mathbf {X} =\{\mathbf {x} _{1},\dots ,\mathbf {x} _{n}\}\sim {\mathcal {N}}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})}$

и что была назначена сопряженная априорная величина, где

${\displaystyle p({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})=p({\boldsymbol {\mu }}\mid {\boldsymbol {\Sigma }})\ p({\boldsymbol {\Sigma }}),}$

где

${\displaystyle p({\boldsymbol {\mu }}\mid {\boldsymbol {\Sigma }})\sim {\mathcal {N}}({\boldsymbol {\mu }}_{0},m^{-1}{\boldsymbol {\Sigma }}),}$

и

${\displaystyle p({\boldsymbol {\Sigma }})\sim {\mathcal {W}}^{-1}({\boldsymbol {\Psi }},n_{0}).}$

Тогда ^[32]

${\displaystyle {\begin{array}{rcl}p({\boldsymbol {\mu }}\mid {\boldsymbol {\Sigma }},\mathbf {X} )&\sim &{\mathcal {N}}\left({\frac {n{\bar {\mathbf {x} }}+m{\boldsymbol {\mu }}_{0}}{n+m}},{\frac {1}{n+m}}{\boldsymbol {\Sigma }}\right),\\p({\boldsymbol {\Sigma }}\mid \mathbf {X} )&\sim &{\mathcal {W}}^{-1}\left({\boldsymbol {\Psi }}+n\mathbf {S} +{\frac {nm}{n+m}}({\bar {\mathbf {x} }}-{\boldsymbol {\mu }}_{0})({\bar {\mathbf {x} }}-{\boldsymbol {\mu }}_{0})',n+n_{0}\right),\end{array}}}$

где

${\displaystyle {\begin{aligned}{\bar {\mathbf {x} }}&={\frac {1}{n}}\sum _{i=1}^{n}\mathbf {x} _{i},\\\mathbf {S} &={\frac {1}{n}}\sum _{i=1}^{n}(\mathbf {x} _{i}-{\bar {\mathbf {x} }})(\mathbf {x} _{i}-{\bar {\mathbf {x} }})'.\end{aligned}}}$

Многомерные тесты нормальности проверяют заданный набор данных на сходство с многомерным нормальным распределением . Нулевая гипотеза заключается в том, что набор данных похож на нормальное распределение, поэтому достаточно малое значение p указывает на ненормальные данные. Многомерные тесты нормальности включают тест Кокса–Смолла ^[33] и адаптацию Смита и Джейна ^[34] теста Фридмана–Рафски, созданную Ларри Рафски и Джеромом Фридманом . ^[35]

Тест Мардиа ^[36] основан на многомерных расширениях мер асимметрии и эксцесса . Для выборки { x ₁ , ..., x _n } k -мерных векторов мы вычисляем

${\displaystyle {\begin{aligned}&{\widehat {\boldsymbol {\Sigma }}}={1 \over n}\sum _{j=1}^{n}\left(\mathbf {x} _{j}-{\bar {\mathbf {x} }}\right)\left(\mathbf {x} _{j}-{\bar {\mathbf {x} }}\right)^{\mathrm {T} }\\&A={1 \over 6n}\sum _{i=1}^{n}\sum _{j=1}^{n}\left[(\mathbf {x} _{i}-{\bar {\mathbf {x} }})^{\mathrm {T} }\;{\widehat {\boldsymbol {\Sigma }}}^{-1}(\mathbf {x} _{j}-{\bar {\mathbf {x} }})\right]^{3}\\&B={\sqrt {\frac {n}{8k(k+2)}}}\left\{{1 \over n}\sum _{i=1}^{n}\left[(\mathbf {x} _{i}-{\bar {\mathbf {x} }})^{\mathrm {T} }\;{\widehat {\boldsymbol {\Sigma }}}^{-1}(\mathbf {x} _{i}-{\bar {\mathbf {x} }})\right]^{2}-k(k+2)\right\}\end{aligned}}}$