Обобщенное логистическое распределение

Термин обобщенное логистическое распределение используется как название для нескольких различных семейств распределений вероятностей . Например, Джонсон и др. ^[1] перечисляют четыре формы, которые перечислены ниже.

Тип I также называется косо-логистическим распределением . Тип IV включает в себя другие типы и получается при применении логит- преобразования к бета- случайным переменным. Следуя той же конвенции, что и для логарифмически нормального распределения , тип IV может называться логистическо-бета-распределением со ссылкой на стандартную логистическую функцию , которая является обратной логит-преобразованию.

Для других семейств распределений, которые также называются обобщенными логистическими распределениями, см. смещенное логарифмически-логистическое распределение , которое является обобщением логарифмически -логистического распределения ; и металогическое («металогистическое») распределение , которое обладает высокой гибкостью формы и границ и может быть подогнано к данным с помощью линейного метода наименьших квадратов.

Следующие определения предназначены для стандартизированных версий семейств, которые могут быть расширены до полной формы как семейство масштаба местоположения . Каждое из них определяется с использованием либо кумулятивной функции распределения ( F ), либо функции плотности вероятности ( ƒ ), и определяется на (-∞,∞).

${\displaystyle F(x;\alpha)={\frac {1}{(1+e^{-x})^{\alpha }}}\equiv (1+e^{-x})^{- \alpha },\quad \alpha >0.}$

Соответствующая функция плотности вероятности имеет вид:

${\displaystyle f(x;\alpha )={\frac {\alpha e^{-x}}{\left(1+e^{-x}\right)^{\alpha +1}}},\quad \alpha >0.}$

Этот тип распределения также называют «косо-логистическим».

${\displaystyle F(x;\alpha)=1- {\frac {e^{-\alpha x}}{(1+e^{-x})^{\alpha }}},\quad \alpha > 0.}$

Соответствующая функция плотности вероятности имеет вид:

${\displaystyle f(x;\alpha)={\frac {\alpha e^{-\alpha x}}{(1+e^{-x})^{\alpha +1}}},\quad \ альфа >0.}$

${\displaystyle f(x;\alpha)={\frac {1}{B(\alpha,\alpha)}}{\frac {e^{-\alpha x}}{(1+e^{-x })^{2\alpha }}},\quad \alpha >0.}$

Здесь B — бета-функция . Функция генерации моментов для этого типа:

${\displaystyle M(t)={\frac {\Gamma (\alpha -t)\Gamma (\alpha +t)}{(\Gamma (\alpha ))^{2}}},\quad -\alpha <t<\alpha .}$

Соответствующая кумулятивная функция распределения имеет вид:

${\displaystyle F(x;\alpha)={\frac {\left(e^{x}+1\right)\Gamma (\alpha)e^{\alpha (-x)}\left(e^{-x}+1\right)^{-2\alpha}\,_{2}{\tilde {F}}_{1}\left(1,1-\alpha;\alpha +1;-e^{x}\right)}{B(\alpha,\alpha)}},\quad \alpha >0.}$

${\displaystyle {\begin{align}f(x;\alpha,\beta)&={\frac {1}{B(\alpha,\beta)}}{\frac {e^{-\beta x}}{(1+e^{-x})^{\alpha +\beta}}},\quad \alpha,\beta >0\\[4pt]&={\frac {\sigma (x)^{\alpha}\sigma (-x)^{\beta}}{B(\alpha,\beta)}}.\end{align}}}$

Где, B — бета-функция , а — стандартная логистическая функция . Функция генерации моментов для этого типа —${\displaystyle \сигма (x)=1/(1+e^{-x})}$

${\displaystyle M(t)={\frac {\Gamma (\beta -t)\Gamma (\alpha +t)}{\Gamma (\alpha )\Gamma (\beta )}},\quad -\alpha <t<\beta .}$

Этот тип также называют «экспоненциальной обобщенной бетой второго типа». ^[1]

Соответствующая кумулятивная функция распределения имеет вид:

${\displaystyle F(x;\alpha,\beta)={\frac {\left(e^{x}+1\right)\Gamma (\alpha)e^{\beta (-x)}\left(e^{-x}+1\right)^{-\alpha -\beta}\,_{2}{\tilde {F}}_{1}\left(1,1-\beta;\alpha +1;-e^{x}\right)}{B(\alpha,\beta)}},\quad \alpha,\beta >0.}$

Тип IV — наиболее общая форма распределения. Распределение типа III можно получить из типа IV, зафиксировав . Распределение типа II можно получить из типа IV, зафиксировав (и переименовав в ). Распределение типа I можно получить из типа IV, зафиксировав . Зафиксировав , получаем стандартное логистическое распределение .${\displaystyle \beta =\alpha }$${\displaystyle \альфа =1}$${\displaystyle \бета}$${\displaystyle \альфа}$${\displaystyle \бета =1}$${\displaystyle \альфа =\бета =1}$

Обобщенное логистическое распределение типа IV или логистическое бета- распределение с параметрами поддержки и формы имеет (как показано выше) функцию плотности вероятности (pdf):${\displaystyle x\in \mathbb {R} }$${\displaystyle \альфа,\бета >0}$

${\displaystyle f(x;\alpha,\beta)={\frac {1}{B(\alpha,\beta)}}{\frac {e^{-\beta x}}{(1+e^{-x})^{\alpha +\beta}}}={\frac {\sigma (x)^{\alpha}\sigma (-x)^{\beta}}{B(\alpha,\beta)}},}$

где — стандартная логистическая функция . Функции плотности вероятности для трех различных наборов параметров формы показаны на графике, где распределения были масштабированы и смещены, чтобы дать нулевые средние значения и единичные дисперсии, чтобы облегчить сравнение форм.${\displaystyle \сигма (x)=1/(1+e^{-x})}$

В дальнейшем обозначение будет использоваться для обозначения распределения типа IV.${\displaystyle B_{\сигма}(\альфа,\бета)}$

Это распределение можно получить в терминах гамма-распределения следующим образом. Пусть и независимо , и пусть . Тогда . ^[2]${\displaystyle y\sim {\text{Гамма}}(\альфа ,\гамма )}$${\displaystyle z\sim {\text{Gamma}}(\beta,\gamma)}$${\displaystyle x=\ln y-\ln z}$${\displaystyle x\sim B_{\sigma }(\alpha ,\beta )}$

Если , то .${\displaystyle x\sim B_{\sigma }(\alpha ,\beta )}$${\displaystyle -x\sim B_{\sigma }(\beta ,\alpha )}$

Используя логарифмические ожидания гамма-распределения, среднее значение и дисперсию можно вывести следующим образом:

${\displaystyle {\begin{aligned}{\text{E}}[x]&=\psi (\alpha )-\psi (\beta )\\{\text{var}}[x]&=\psi '(\alpha )+\psi '(\beta )\\\end{aligned}}}$

где — дигамма-функция , а — ее первая производная, также известная как тригамма-функция или первая полигамма-функция . Поскольку строго возрастает , знак среднего значения совпадает со знаком . Поскольку строго убывает, параметры формы также можно интерпретировать как параметры концентрации. Действительно, как показано ниже, левый и правый хвосты соответственно становятся тоньше по мере увеличения или . Два члена дисперсии представляют вклады в дисперсию левой и правой частей распределения.${\displaystyle \пси}$${\displaystyle \psi '=\psi ^{(1)}}$${\displaystyle \пси}$${\displaystyle \альфа -\бета}$${\displaystyle \пси '}$${\displaystyle \альфа}$${\displaystyle \бета}$

Функция генерации кумулянта равна , где функция генерации момента приведена выше. Кумулянты , , являются -ыми производными , оцененными при : ${\displaystyle K(t)=\ln M(t)}$${\displaystyle М(т)}$${\displaystyle \каппа _{н}}$${\displaystyle n}$${\displaystyle К(т)}$${\displaystyle т=0}$

${\displaystyle \kappa _{n}=K^{(n)}(0)=\psi ^{(n-1)}(\alpha )+(-1)^{n}\psi ^{(n-1)}(\beta )}$

где и — дигамма- и полигамма-функции. В соответствии с выводом выше, первый кумулянт, , — это среднее значение, а второй, , — это дисперсия.${\displaystyle \psi ^{(0)}=\psi }$${\displaystyle \psi ^{(n-1)}}$${\displaystyle \kappa _{1}}$${\displaystyle \kappa _{2}}$

Третий кумулянт, , является третьим центральным моментом , который при масштабировании по третьей степени стандартного отклонения дает асимметрию :${\displaystyle \kappa _{3}}$${\displaystyle E[(x-E[x])^{3}]}$

${\displaystyle {\text{skew}}[x]={\frac {\psi ^{(2)}(\alpha )-\psi ^{(2)}(\beta )}{{\sqrt {{\text{var}}[x]}}^{3}}}}$

Знак (и, следовательно, направленность ) асимметрии такой же, как и знак .${\displaystyle \alpha -\beta }$

Моду (максимум плотности вероятности) можно вывести, определив, где производная логарифмической функции вероятности равна нулю:${\displaystyle x}$

${\displaystyle {\frac {d}{dx}}\ln f(x;\alpha ,\beta )=\alpha \sigma (-x)-\beta \sigma (x)=0}$

Это упрощается до , так что: ^[2]${\displaystyle \alpha /\beta =e^{x}}$

${\displaystyle {\text{mode}}[x]=\ln {\frac {\alpha }{\beta }}}$

В каждом из левого и правого хвостов один из сигмоид в pdf насыщается до единицы, так что хвост формируется другим сигмоидом. Для больших отрицательных левый хвост pdf пропорционален , в то время как правый хвост (большой положительный ) пропорционален . Это означает, что хвосты независимо контролируются и . Хотя хвосты типа IV тяжелее , чем у нормального распределения ( , для дисперсии ), средние значения типа IV и дисперсии остаются конечными для всех . Это контрастирует с распределением Коши , для которого среднее значение и дисперсия не существуют. На показанных здесь графиках логарифмической pdf хвосты типа IV линейны, хвосты нормального распределения квадратичны, а хвосты Коши логарифмичны.${\displaystyle x}$${\displaystyle \sigma (x)^{\alpha }\approx e^{\alpha x}}$${\displaystyle x}$${\displaystyle \sigma (-x)^{\beta }\approx e^{-\beta x}}$${\displaystyle \alpha }$${\displaystyle \beta }$${\displaystyle e^{-{\frac {x^{2}}{2v}}}}$${\displaystyle v}$${\displaystyle \alpha ,\beta >0}$

${\displaystyle B_{\sigma }(\alpha ,\beta )}$образует экспоненциальное семейство с натуральными параметрами и и достаточной статистикой и . Ожидаемые значения достаточной статистики можно найти путем дифференцирования логарифмического нормализатора: ^[3]${\displaystyle \alpha }$${\displaystyle \beta }$ ${\displaystyle \log \sigma (x)}$${\displaystyle \log \sigma (-x)}$

${\displaystyle {\begin{aligned}E[\log \sigma (x)]&={\frac {\partial \log B(\alpha ,\beta )}{\partial \alpha }}=\psi (\alpha )-\psi (\alpha +\beta )\\E[\log \sigma (-x)]&={\frac {\partial \log B(\alpha ,\beta )}{\partial \beta }}=\psi (\beta )-\psi (\alpha +\beta )\\\end{aligned}}}$

Учитывая, что набор данных предположительно был сгенерирован с помощью IID , оценка параметра максимального правдоподобия имеет вид:${\displaystyle x_{1},\ldots ,x_{n}}$${\displaystyle B_{\sigma }(\alpha ,\beta )}$

${\displaystyle {\begin{aligned}{\hat {\alpha }},{\hat {\beta }}=\arg \max _{\alpha ,\beta }&\;{\frac {1}{n}}\sum _{i=1}^{n}\log f(x_{i};\alpha ,\beta )\\=\arg \max _{\alpha ,\beta }&\;\alpha {\Bigl (}{\frac {1}{n}}\sum _{i}\log \sigma (x_{i}){\Bigr )}+\beta {\Bigl (}{\frac {1}{n}}\sum _{i}\log \sigma (-x_{i}){\Bigr )}-\log B(\alpha ,\beta )\\=\arg \max _{\alpha ,\beta }&\;\alpha \,{\overline {\log \sigma (x)}}+\beta \,{\overline {\log \sigma (-x)}}-\log B(\alpha ,\beta )\end{aligned}}}$

где линии сверху обозначают средние значения достаточной статистики. Оценка максимального правдоподобия зависит от данных только через эти средние статистики. Действительно, при оценке максимального правдоподобия ожидаемые значения и средние значения совпадают:

${\displaystyle {\begin{aligned}\psi ({\hat {\alpha }})-\psi ({\hat {\alpha }}+{\hat {\beta }})&={\overline {\log \sigma (x)}}\\\psi ({\hat {\beta }})-\psi ({\hat {\alpha }}+{\hat {\beta }})&={\overline {\log \sigma (-x)}}\\\end{aligned}}}$

где также исчезают частные производные вышеуказанного максимизируемого выражения.

Взаимоотношения с другими дистрибутивами включают:

• Логарифмическое отношение гамма-переменных относится к типу IV, как подробно описано выше.
• Если , то имеет распределение типа IV с параметрами и . См. бета-простое распределение .${\displaystyle y\sim {\text{BetaPrime}}(\alpha ,\beta )}$${\displaystyle x=\ln y}$${\displaystyle \alpha }$${\displaystyle \beta }$
• Если и , где используется в качестве параметра скорости второго гамма-распределения, то имеет составное гамма-распределение , которое совпадает с , так что имеет распределение типа IV .${\displaystyle z\sim {\text{Gamma}}(\beta ,1)}$${\displaystyle y\mid z\sim {\text{Gamma}}(\alpha ,z)}$${\displaystyle z}$${\displaystyle y}$${\displaystyle {\text{BetaPrime}}(\alpha ,\beta )}$${\displaystyle x=\ln y}$
• Если , то имеет распределение типа IV с параметрами и . Смотрите бета-распределение . Функция логита , является обратной логистической функции . Это соотношение объясняет название логистическо-бета для этого распределения: если логистическая функция применяется к логистическо-бета-вариантам, преобразованное распределение является бета.${\displaystyle p\sim {\text{Beta}}(\alpha ,\beta )}$${\displaystyle x={\text{logit}}\,p}$${\displaystyle \alpha }$${\displaystyle \beta }$${\displaystyle \mathrm {logit} (p)=\log {\frac {p}{1-p}}}$

При больших значениях параметров формы распределение становится более гауссовым , при этом: ${\displaystyle \alpha ,\beta \gg 1}$

${\displaystyle {\begin{aligned}E[x]&\approx \ln {\frac {\alpha }{\beta }}\\{\text{var}}[x]&\approx {\frac {\alpha +\beta }{\alpha \beta }}\end{aligned}}}$

Это продемонстрировано на графиках PDF и log PDF здесь.

Поскольку случайная выборка из гамма- и бета- распределений легко доступна на многих программных платформах, приведенные выше соотношения с этими распределениями можно использовать для генерации переменных из распределения типа IV.

Гибкое семейство из четырех параметров может быть получено путем добавления параметров местоположения и масштаба . Один из способов сделать это — если , то пусть , где — параметр масштаба, а — параметр местоположения. Полученное таким образом семейство из четырех параметров обладает желаемой дополнительной гибкостью, но новые параметры может быть трудно интерпретировать, поскольку и . Более того, оценка максимального правдоподобия с этой параметризацией сложна. Эти проблемы можно решить следующим образом.${\displaystyle x\sim B_{\sigma }(\alpha ,\beta )}$${\displaystyle y=kx+\delta }$${\displaystyle k>0}$${\displaystyle \delta \in \mathbb {R} }$${\displaystyle \delta \neq E[y]}$${\displaystyle k^{2}\neq {\text{var}}[y]}$

Напомним, что среднее значение и дисперсия равны:${\displaystyle x}$

${\displaystyle {\begin{aligned}{\tilde {\mu }}&=\psi (\alpha )-\psi (\beta ),&{\tilde {s}}^{2}&=\psi '(\alpha )+\psi '(\beta )\end{aligned}}}$

Теперь расширьте семейство с помощью параметра местоположения и параметра масштаба с помощью преобразования: ${\displaystyle \mu \in \mathbb {R} }$${\displaystyle s>0}$

${\displaystyle {\begin{aligned}y&=\mu +{\frac {s}{\tilde {s}}}(x-{\tilde {\mu }})\iff x={\tilde {\mu }}+{\frac {\tilde {s}}{s}}(y-\mu )\end{aligned}}}$

так что и теперь интерпретируемы. Можно отметить, что разрешение быть как положительными, так и отрицательными не обобщает это семейство из-за отмеченного выше свойства симметрии. Мы принимаем обозначения для этого семейства.${\displaystyle \mu =E[y]}$${\displaystyle s^{2}={\text{var}}[y]}$${\displaystyle s}$${\displaystyle y\sim {\bar {B}}_{\sigma }(\alpha ,\beta ,\mu ,s^{2})}$

Если pdf для равен , то pdf для равен:${\displaystyle x\sim B_{\sigma }(\alpha ,\beta )}$${\displaystyle f(x;\alpha ,\beta )}$${\displaystyle y\sim {\bar {B}}_{\sigma }(\alpha ,\beta ,\mu ,s^{2})}$

${\displaystyle {\bar {f}}(y;\alpha ,\beta ,\mu ,s^{2})={\frac {\tilde {s}}{s}}\,f(x;\alpha ,\beta )}$

где подразумевается, что вычисляется, как подробно описано выше, как функция . Графики pdf и log-pdf выше, где подписи содержат (среднее = 0, дисперсия = 1), предназначены для .${\displaystyle x}$${\displaystyle y,\alpha ,\beta ,\mu ,s}$${\displaystyle {\bar {B}}_{\sigma }(\alpha ,\beta ,0,1)}$

В этом разделе поочередно обсуждается оценка максимального правдоподобия параметров распределения для заданного набора данных для семейств и . ${\displaystyle x_{1},\ldots ,x_{n}}$${\displaystyle B_{\sigma }(\alpha ,\beta )}$${\displaystyle {\bar {B}}_{\sigma }(\alpha ,\beta ,\mu ,s^{2})}$

Как отмечено выше, представляет собой экспоненциальное семейство с естественными параметрами , оценки максимального правдоподобия которого зависят только от усредненных достаточных статистик:${\displaystyle B_{\sigma }(\alpha ,\beta )}$${\displaystyle \alpha ,\beta }$

${\displaystyle {\begin{aligned}{\overline {\log \sigma (x)}}&={\frac {1}{n}}\sum _{i}\log \sigma (x_{i})&&{\text{and}}&{\overline {\log \sigma (-x)}}&={\frac {1}{n}}\sum _{i}\log \sigma (-x_{i})\end{aligned}}}$

После накопления этой статистики оценка максимального правдоподобия определяется по формуле:

${\displaystyle {\begin{aligned}{\hat {\alpha }},{\hat {\beta }}=\arg \max _{\alpha ,\beta >0}&\;\alpha \,{\overline {\log \sigma (x)}}+\beta \,{\overline {\log \sigma (-x)}}-\log B(\alpha ,\beta )\end{aligned}}}$

Используя параметризацию и неограниченный числовой алгоритм оптимизации, такой как BFGS, можно использовать. Итерации оптимизации быстры, поскольку они не зависят от размера набора данных.${\displaystyle \theta _{1}=\log \alpha }$${\displaystyle \theta _{2}=\log \beta }$

Альтернативой является использование EM-алгоритма, основанного на композиции: если и . Из-за самосопряженности гамма - распределения апостериорные ожидания и , которые требуются для E-шага, могут быть вычислены в замкнутой форме. Обновление параметра M-шага может быть решено аналогично максимальному правдоподобию для гамма-распределения .${\displaystyle x-\log(\gamma \delta )\sim B_{\sigma }(\alpha ,\beta )}$${\displaystyle z\sim {\text{Gamma}}(\beta ,\gamma )}$${\displaystyle e^{x}\mid z\sim {\text{Gamma}}(\alpha ,z/\delta )}$${\displaystyle \left\langle z\right\rangle _{P(z\mid x)}}$${\displaystyle \left\langle \log z\right\rangle _{P(z\mid x)}}$

Задача максимального правдоподобия для , имеющего pdf, выглядит следующим образом:${\displaystyle {\bar {B}}_{\sigma }(\alpha ,\beta ,\mu ,s^{2})}$${\displaystyle {\bar {f}}}$

${\displaystyle {\hat {\alpha }},{\hat {\beta }},{\hat {\mu }},{\hat {s}}=\arg \max _{\alpha ,\beta ,\mu ,s}\log {\frac {1}{n}}\sum _{i}{\bar {f}}(x_{i};\alpha ,\beta ,\mu ,s^{2})}$

Это больше не экспоненциальное семейство, так что каждая итерация оптимизации должна проходить по всему набору данных. Более того, вычисление частных производных (как того требует, например, BFGS) значительно сложнее, чем для двухпараметрического случая выше. Однако все функции компонентов легко доступны в программных пакетах с автоматическим дифференцированием . Опять же, положительные параметры могут быть параметризованы в терминах их логарифмов для получения неограниченной числовой задачи оптимизации.

Для этой задачи численная оптимизация может потерпеть неудачу, если начальные параметры местоположения и масштаба не будут выбраны надлежащим образом. Однако вышеупомянутая интерпретируемость этих параметров в параметризации может быть использована для этого. В частности, начальные значения для и могут быть установлены на эмпирическое среднее и дисперсию данных.${\displaystyle {\bar {B}}_{\sigma }}$${\displaystyle \mu }$${\displaystyle s^{2}}$

• Распределение Чамперноуна — ещё одно обобщение логистического распределения.