Обобщенное нормальное распределение

Обобщенное нормальное распределение ( GND ) или обобщенное гауссовское распределение ( GGD ) — это одно из двух семейств параметрических непрерывных распределений вероятностей на действительной прямой. Оба семейства добавляют параметр формы к нормальному распределению . Чтобы различать эти два семейства, ниже они называются «симметричными» и «асимметричными»; однако это не стандартная номенклатура.

Симметричный обобщенный нормальный

Функция плотности вероятности
Кумулятивная функция распределения
Параметры	${\displaystyle \мю \,}$ местоположение ( реальное ) масштаб (положительное, реальное ) форма (положительное, реальное ) ${\displaystyle \альфа \,}$ ${\displaystyle \бета \,}$
Поддерживать	${\displaystyle x\in (-\infty ;+\infty )\!}$
PDF	${\displaystyle {\frac {\beta }{2\alpha \Gamma (1/\beta )}}\;e^{-(|x-\mu |/\alpha )^{\beta }}}$ ${\displaystyle \Гамма}$обозначает гамма-функцию
СДФ	${\displaystyle {\frac {1}{2}}+{\text{sign}}(x-\mu ){\frac {1}{2\Gamma (1/\beta )}}\gamma \left(1/\beta ,\left|{\frac {x-\mu }{\alpha }}\right|^{\beta }\right)}$ где — параметр формы, — параметр масштаба, а — ненормализованная неполная нижняя гамма-функция .${\displaystyle \бета}$${\displaystyle \альфа}$${\displaystyle \гамма}$
Квантиль	${\displaystyle {\text{sign}}(p-0,5)\left[\alpha ^{\beta }F^{-1}\left(2|p-0,5|;{\frac {1}{\beta }}\right)\right]^{1/\beta }+\mu }$ где — квантильная функция гамма-распределения [1]${\displaystyle F^{-1}\left(p;a\right)}$
Иметь в виду	${\displaystyle \мю \,}$
Медиана	${\displaystyle \мю \,}$
Режим	${\displaystyle \мю \,}$
Дисперсия	${\displaystyle {\frac {\alpha ^{2}\Gamma (3/\beta)}{\Gamma (1/\beta)}}}$
Асимметрия	0
Избыточный эксцесс	${\displaystyle {\frac {\Gamma (5/\beta)\Gamma (1/\beta)}{\Gamma (3/\beta)^{2}}}-3}$
Энтропия	${\displaystyle {\frac {1}{\beta }}-\log \left[{\frac {\beta }{2\alpha \Gamma (1/\beta )}}\right]}$[2]

Симметричное обобщенное нормальное распределение , также известное как экспоненциальное распределение мощности или обобщенное распределение ошибок , является параметрическим семейством симметричных распределений . Оно включает в себя все нормальные и лапласовские распределения, а в качестве предельных случаев оно включает в себя все непрерывные равномерные распределения на ограниченных интервалах действительной прямой.

Это семейство включает нормальное распределение, когда (со средним значением и дисперсией ), и оно включает распределение Лапласа , когда . Так как , плотность сходится поточечно к равномерной плотности на .${\displaystyle \textstyle \beta =2}$${\displaystyle \textstyle \mu}$${\displaystyle \textstyle {\frac {\alpha ^{2}}{2}}}$${\displaystyle \textstyle \beta =1}$${\displaystyle \textstyle \beta \rightarrow \infty }$${\displaystyle \textstyle (\mu -\альфа ,\mu +\альфа )}$

Это семейство допускает хвосты, которые либо тяжелее нормы (когда ), либо легче нормы (когда ). Это полезный способ параметризации континуума симметричных платикуртических плотностей, простирающихся от нормальной ( ) до равномерной плотности ( ), и континуума симметричных лептокуртических плотностей, простирающихся от Лапласа ( ) до нормальной плотности ( ). Параметр формы также контролирует пиковость в дополнение к хвостам.${\displaystyle \бета <2}$${\displaystyle \бета >2}$${\displaystyle \textstyle \beta =2}$${\displaystyle \textstyle \beta =\infty }$${\displaystyle \textstyle \beta =1}$${\displaystyle \textstyle \beta =2}$${\displaystyle \бета}$

Изучена оценка параметров методом максимального правдоподобия и методом моментов . ^[3] Оценки не имеют замкнутой формы и должны быть получены численно. Также были предложены оценки, не требующие численного расчета. ^[4]

Обобщенная нормальная логарифмическая функция правдоподобия имеет бесконечно много непрерывных производных (т.е. принадлежит классу C ^∞ гладких функций ) только если является положительным четным целым числом. В противном случае функция имеет непрерывные производные. В результате стандартные результаты для согласованности и асимптотической нормальности оценок максимального правдоподобия применяются только при .${\displaystyle \textstyle \beta }$${\displaystyle \textstyle \lfloor \beta \rfloor}$${\displaystyle \бета}$${\displaystyle \textstyle \beta \geq 2}$

Можно подогнать обобщенное нормальное распределение, приняв приближенный метод максимального правдоподобия . ^{[5] [6]} При изначальной установке на первый момент выборки , оценивается с помощью итеративной процедуры Ньютона-Рафсона , начиная с начального предположения ,${\displaystyle \mu }$${\displaystyle m_{1}}$${\displaystyle \textstyle \beta }$${\displaystyle \textstyle \beta =\textstyle \beta _{0}}$

${\displaystyle \beta _{0}={\frac {m_{1}}{\sqrt {m_{2}}}},}$

где

${\displaystyle m_{1}={1 \over N}\sum _{i=1}^{N}|x_{i}|,}$

является первым статистическим моментом абсолютных значений и является вторым статистическим моментом . Итерация${\displaystyle m_{2}}$

${\displaystyle \beta _{i+1}=\beta _{i}-{\frac {g(\beta _{i})}{g'(\beta _{i})}},}$

где

${\displaystyle g(\beta )=1+{\frac {\psi (1/\beta )}{\beta }}-{\frac {\sum _{i=1}^{N}|x_{i}-\mu |^{\beta }\log |x_{i}-\mu |}{\sum _{i=1}^{N}|x_{i}-\mu |^{\beta }}}+{\frac {\log({\frac {\beta }{N}}\sum _{i=1}^{N}|x_{i}-\mu |^{\beta })}{\beta }},}$

и

${\displaystyle {\begin{aligned}g'(\beta )={}&-{\frac {\psi (1/\beta )}{\beta ^{2}}}-{\frac {\psi '(1/\beta )}{\beta ^{3}}}+{\frac {1}{\beta ^{2}}}-{\frac {\sum _{i=1}^{N}|x_{i}-\mu |^{\beta }(\log |x_{i}-\mu |)^{2}}{\sum _{i=1}^{N}|x_{i}-\mu |^{\beta }}}\\[6pt]&{}+{\frac {\left(\sum _{i=1}^{N}|x_{i}-\mu |^{\beta }\log |x_{i}-\mu |\right)^{2}}{\left(\sum _{i=1}^{N}|x_{i}-\mu |^{\beta }\right)^{2}}}+{\frac {\sum _{i=1}^{N}|x_{i}-\mu |^{\beta }\log |x_{i}-\mu |}{\beta \sum _{i=1}^{N}|x_{i}-\mu |^{\beta }}}\\[6pt]&{}-{\frac {\log \left({\frac {\beta }{N}}\sum _{i=1}^{N}|x_{i}-\mu |^{\beta }\right)}{\beta ^{2}}},\end{aligned}}}$

и где и - дигамма-функция и тригамма-функция .${\displaystyle \psi }$${\displaystyle \psi '}$

При наличии значения можно оценить, найдя минимум:${\displaystyle \textstyle \beta }$${\displaystyle \mu }$

${\displaystyle \min _{\mu }=\sum _{i=1}^{N}|x_{i}-\mu |^{\beta }}$

Наконец, оценивается как${\displaystyle \textstyle \alpha }$

${\displaystyle \alpha =\left({\frac {\beta }{N}}\sum _{i=1}^{N}|x_{i}-\mu |^{\beta }\right)^{1/\beta }.}$

Для медиана является более подходящей оценкой . После того, как оценивается, и может быть оценена, как описано выше. ^[7]${\displaystyle \beta \leq 1}$${\displaystyle \mu }$${\displaystyle \mu }$${\displaystyle \beta }$${\displaystyle \alpha }$

Симметричное обобщенное нормальное распределение использовалось в моделировании, когда особый интерес представляли концентрация значений вокруг среднего значения и поведение хвоста. ^{[8] [9]} Другие семейства распределений могут использоваться, если основное внимание уделяется другим отклонениям от нормальности. Если основным интересом является симметрия распределения, можно использовать перекошенное нормальное семейство или асимметричную версию обобщенного нормального семейства, обсуждаемую ниже. Если основным интересом является поведение хвоста, можно использовать семейство t-распределения студента , которое приближает нормальное распределение по мере того, как степени свободы растут до бесконечности. Распределение t, в отличие от этого обобщенного нормального распределения, получает более тяжелые, чем нормальные, хвосты, не приобретая точки возврата в начале координат. Оно находит применение в физике плазмы под названием распределения Лэнгдона, возникающего в результате обратного тормозного излучения. ^[10]

В задаче линейной регрессии , смоделированной как , MLE будет там, где используется p-норма .${\displaystyle y\sim \mathrm {GeneralizedNormal} (X\cdot \theta ,\alpha ,p)}$${\displaystyle \arg \min _{\theta }\|X\cdot \theta -y\|_{p}}$

Пусть будет нулевым средним обобщенным гауссовым распределением формы и параметра масштабирования . Моменты существуют и конечны для любого k, большего, чем −1. Для любого неотрицательного целого числа k простые центральные моменты равны ^[2]${\displaystyle X_{\beta }}$${\displaystyle \beta }$${\displaystyle \alpha }$${\displaystyle X_{\beta }}$

${\displaystyle \operatorname {E} \left[X_{\beta }^{k}\right]={\begin{cases}0&{\text{if }}k{\text{ is odd,}}\\\alpha ^{k}\Gamma \left({\frac {k+1}{\beta }}\right){\Big /}\,\Gamma \left({\frac {1}{\beta }}\right)&{\text{if }}k{\text{ is even.}}\end{cases}}}$

С точки зрения распределения Стабильного счета , можно рассматривать как параметр стабильности Леви. Это распределение может быть разложено до интеграла плотности ядра, где ядро ​​является либо распределением Лапласа , либо распределением Гаусса :${\displaystyle \beta }$

${\displaystyle {\frac {1}{2}}{\frac {1}{\Gamma ({\frac {1}{\beta }}+1)}}e^{-z^{\beta }}={\begin{cases}\displaystyle \int _{0}^{\infty }{\frac {1}{\nu }}\left({\frac {1}{2}}e^{-|z|/\nu }\right){\mathfrak {N}}_{\beta }(\nu )\,d\nu ,&1\geq \beta >0;{\text{or }}\\\displaystyle \int _{0}^{\infty }{\frac {1}{s}}\left({\frac {1}{\sqrt {2\pi }}}e^{-{\frac {1}{2}}(z/s)^{2}}\right)V_{\beta }(s)\,ds,&2\geq \beta >0;\end{cases}}}$

где — стабильное распределение количества , — стабильное распределение объема .${\displaystyle {\mathfrak {N}}_{\beta }(\nu )}$${\displaystyle V_{\beta }(s)}$

Функция плотности вероятности симметричного обобщенного нормального распределения является положительно определенной функцией для . ^{[11] [12]}${\displaystyle \beta \in (0,2]}$

Симметричное обобщенное гауссовское распределение является бесконечно делимым распределением тогда и только тогда, когда . ^[11]${\displaystyle \beta \in (0,1]\cup \{2\}}$

Многомерное обобщенное нормальное распределение, т.е. произведение экспоненциальных степенных распределений с теми же и параметрами, является единственной плотностью вероятности, которая может быть записана в форме и имеет независимые маргинальные значения. ^[13] Результаты для особого случая многомерного нормального распределения первоначально приписываются Максвеллу . ^[14]${\displaystyle n}$${\displaystyle \beta }$${\displaystyle \alpha }$${\displaystyle p(\mathbf {x} )=g(\|\mathbf {x} \|_{\beta })}$

Асимметричный обобщенный нормальный

Функция плотности вероятности
Кумулятивная функция распределения
Параметры	${\displaystyle \xi \,}$ местоположение ( реальное ) масштаб (положительный, реальный ) форма ( реальная ) ${\displaystyle \alpha \,}$ ${\displaystyle \kappa \,}$
Поддерживать	${\displaystyle x\in (-\infty ,\xi +\alpha /\kappa ){\text{ if }}\kappa >0}$ ${\displaystyle x\in (-\infty ,\infty ){\text{ if }}\kappa =0}$ ${\displaystyle x\in (\xi +\alpha /\kappa ,+\infty ){\text{ if }}\kappa <0}$
PDF	${\displaystyle {\frac {\phi (y)}{\alpha -\kappa (x-\xi )}}}$, где находится стандартный нормальный pdf ${\displaystyle y={\begin{cases}-{\frac {1}{\kappa }}\log \left[1-{\frac {\kappa (x-\xi )}{\alpha }}\right]&{\text{if }}\kappa \neq 0\\{\frac {x-\xi }{\alpha }}&{\text{if }}\kappa =0\end{cases}}}$ ${\displaystyle \phi }$
СДФ	${\displaystyle \Phi (y)}$, где стандартный нормальный CDF ${\displaystyle y={\begin{cases}-{\frac {1}{\kappa }}\log \left[1-{\frac {\kappa (x-\xi )}{\alpha }}\right]&{\text{if }}\kappa \neq 0\\{\frac {x-\xi }{\alpha }}&{\text{if }}\kappa =0\end{cases}}}$ ${\displaystyle \Phi }$
Иметь в виду	${\displaystyle \xi -{\frac {\alpha }{\kappa }}\left(e^{\kappa ^{2}/2}-1\right)}$
Медиана	${\displaystyle \xi \,}$
Дисперсия	${\displaystyle {\frac {\alpha ^{2}}{\kappa ^{2}}}e^{\kappa ^{2}}\left(e^{\kappa ^{2}}-1\right)}$
Асимметрия	${\displaystyle {\frac {3e^{\kappa ^{2}}-e^{3\kappa ^{2}}-2}{(e^{\kappa ^{2}}-1)^{3/2}}}{\text{ sign}}(\kappa )}$
Избыточный эксцесс	${\displaystyle e^{4\kappa ^{2}}+2e^{3\kappa ^{2}}+3e^{2\kappa ^{2}}-6}$

Асимметричное обобщенное нормальное распределение — это семейство непрерывных распределений вероятностей, в которых параметр формы может использоваться для введения асимметрии или перекоса. ^{[15] [16]} Когда параметр формы равен нулю, получается нормальное распределение. Положительные значения параметра формы дают распределения с левой перекоской, ограниченные справа, а отрицательные значения параметра формы дают распределения с правой перекоской, ограниченные слева. Только когда параметр формы равен нулю, функция плотности для этого распределения положительна на всей действительной оси: в этом случае распределение является нормальным распределением , в противном случае распределения смещены и, возможно, являются обратными логнормальными распределениями .

Параметры можно оценить с помощью оценки максимального правдоподобия или метода моментов. Оценки параметров не имеют замкнутой формы, поэтому для вычисления оценок необходимо использовать численные вычисления. Поскольку выборочное пространство (набор действительных чисел, где плотность не равна нулю) зависит от истинного значения параметра, некоторые стандартные результаты о производительности оценок параметров не будут автоматически применяться при работе с этим семейством.

Асимметричное обобщенное нормальное распределение может использоваться для моделирования значений, которые могут быть нормально распределены или которые могут быть либо скошены вправо, либо скошены влево относительно нормального распределения. Скошенное нормальное распределение — это еще одно распределение, которое полезно для моделирования отклонений от нормальности из-за скошенного распределения. Другие распределения, используемые для моделирования скошенных данных, включают гамма-распределение , логнормальное распределение и распределение Вейбулла , но они не включают нормальное распределение как особые случаи.

Дивергенция Кульбака-Лейблера (KLD) — это метод, используемый для вычисления дивергенции или подобия между двумя функциями плотности вероятности. ^[17]

Пусть и два обобщенных гауссовских распределения с параметрами и с ограничением . ^[18] Тогда эта дивергенция определяется как:${\displaystyle P(x)}$${\displaystyle Q(x)}$${\displaystyle \alpha _{1},\beta _{1},\mu _{1}}$${\displaystyle \alpha _{2},\beta _{2},\mu _{2}}$${\displaystyle \mu _{1}=\mu _{2}=0}$

${\displaystyle KLD_{pdf}(P(x)||Q(x))=-{\frac {1}{\beta _{1}}}+{\frac {({\frac {\alpha _{1}}{\alpha _{2}}})^{\beta _{2}}\Gamma ({\frac {1+\beta _{2}}{\beta _{1}}})}{\Gamma ({\frac {1}{\beta _{1}}})}}+\log \left({\frac {\alpha _{2}\Gamma (1+{\frac {1}{\beta _{2}}})}{\alpha _{1}\Gamma (1+{\frac {1}{\beta _{1}}})}}\right)}$

Два обобщенных нормальных семейства, описанных здесь, как и перекошенное нормальное семейство, являются параметрическими семействами, которые расширяют нормальное распределение путем добавления параметра формы. В связи с центральной ролью нормального распределения в вероятности и статистике, многие распределения можно охарактеризовать с точки зрения их связи с нормальным распределением. Например, логнормальное , свернутое нормальное и обратное нормальное распределения определяются как преобразования нормально распределенного значения, но в отличие от обобщенных нормальных и перекошенных нормального семейств, они не включают нормальные распределения как особые случаи.

На самом деле все распределения с конечной дисперсией в пределе тесно связаны с нормальным распределением. Распределение Стьюдента-t, распределение Ирвина–Холла и распределение Бейтса также расширяют нормальное распределение и включают в предел нормальное распределение. Поэтому нет веских причин предпочитать «обобщенное» нормальное распределение типа 1, например, по сравнению с комбинацией Стьюдента-t и нормализованного расширенного Ирвина–Холла – это включало бы, например, треугольное распределение (которое не может быть смоделировано обобщенным гауссовым типом 1).

Симметричное распределение, которое может моделировать поведение как хвоста (длинного и короткого), так и центра (например, плоское, треугольное или гауссово) совершенно независимо, можно получить, например, с помощью  X  = IH/chi.

Распределение Тьюки g и h также допускает отклонение от нормальности, как через асимметрию, так и через толстые хвосты. ^[19]

• Сложное нормальное распределение
• Наклонное нормальное распределение