Пробит-модель

В статистике пробит- модель — это тип регрессии , в которой зависимая переменная может принимать только два значения, например, женат или не женат. Слово является портманто, происходящим от probability + un it . [ 1 ] ^Целью модели является оценка вероятности того, что наблюдение с определенными характеристиками попадет в определенную категорию; более того, классификация наблюдений на основе их предсказанных вероятностей является типом модели бинарной классификации .

Пробит - модель — это популярная спецификация для модели бинарного отклика . Как таковая, она решает тот же набор проблем, что и логистическая регрессия , используя схожие методы. При рассмотрении в рамках обобщенной линейной модели пробит-модель использует функцию связи пробит . ^[2] Чаще всего она оценивается с использованием процедуры максимального правдоподобия , ^[3] такая оценка называется пробит-регрессией .

Предположим, что переменная ответа Y является бинарной , то есть она может иметь только два возможных результата , которые мы обозначим как 1 и 0. Например, Y может представлять наличие/отсутствие определенного условия, успех/неудачу некоторого устройства, ответ да/нет в опросе и т. д. У нас также есть вектор регрессоров X , которые, как предполагается, влияют на результат Y. В частности, мы предполагаем, что модель принимает вид

${\displaystyle P(Y=1\mid X)=\Phi (X^{\operatorname {T} }\beta ),}$

где P — вероятность , а — кумулятивная функция распределения ( CDF ) стандартного нормального распределения . Параметры β обычно оцениваются методом максимального правдоподобия .${\displaystyle \Phi }$

Можно мотивировать модель пробит как модель скрытой переменной . Предположим, что существует вспомогательная случайная величина

${\displaystyle Y^{\ast }=X^{T}\beta +\varepsilon ,}$

где ε ~ N (0, 1). Тогда Y можно рассматривать как индикатор того, является ли эта скрытая переменная положительной:

${\displaystyle Y=\left.{\begin{cases}1&Y^{*}>0\\0&{\text{otherwise}}\end{cases}}\right\}=\left.{\begin{cases}1&X^{\operatorname {T} }\beta +\varepsilon >0\\0&{\text{otherwise}}\end{cases}}\right\}}$

Использование стандартного нормального распределения не приводит к потере общности по сравнению с использованием нормального распределения с произвольным средним значением и стандартным отклонением, поскольку прибавление фиксированной величины к среднему значению можно компенсировать вычитанием той же величины из отсекаемого значения, а умножение стандартного отклонения на фиксированную величину можно компенсировать умножением весов на ту же величину.

Чтобы убедиться в эквивалентности двух моделей, обратите внимание, что

${\displaystyle {\begin{aligned}P(Y=1\mid X)&=P(Y^{\ast }>0)\\&=P(X^{\operatorname {T} }\beta +\varepsilon >0)\\&=P(\varepsilon >-X^{\operatorname {T} }\beta )\\&=P(\varepsilon <X^{\operatorname {T} }\beta )&{\text{by symmetry of the normal distribution}}\\&=\Phi (X^{\operatorname {T} }\beta )\end{aligned}}}$

Предположим, что набор данных содержит n независимых статистических единиц, соответствующих приведенной выше модели.${\displaystyle \{y_{i},x_{i}\}_{i=1}^{n}}$

Для отдельного наблюдения, обусловленного вектором входных данных этого наблюдения, мы имеем:

${\displaystyle P(y_{i}=1|x_{i})=\Phi (x_{i}^{\operatorname {T} }\beta )}$

${\displaystyle P(y_{i}=0|x_{i})=1-\Phi (x_{i}^{\operatorname {T} }\beta )}$

где — вектор входных данных, а — вектор коэффициентов.${\displaystyle x_{i}}$${\displaystyle K\times 1}$${\displaystyle \beta }$${\displaystyle K\times 1}$

Тогда вероятность единичного наблюдения равна${\displaystyle (y_{i},x_{i})}$

${\displaystyle {\mathcal {L}}(\beta ;y_{i},x_{i})=\Phi (x_{i}^{\operatorname {T} }\beta )^{y_{i}}[1-\Phi (x_{i}^{\operatorname {T} }\beta )]^{(1-y_{i})}}$

В самом деле, если , то , и если , то .${\displaystyle y_{i}=1}$${\displaystyle {\mathcal {L}}(\beta ;y_{i},x_{i})=\Phi (x_{i}^{\operatorname {T} }\beta )}$${\displaystyle y_{i}=0}$${\displaystyle {\mathcal {L}}(\beta ;y_{i},x_{i})=1-\Phi (x_{i}^{\operatorname {T} }\beta )}$

Поскольку наблюдения независимы и одинаково распределены, то правдоподобие всей выборки, или совместное правдоподобие , будет равно произведению правдоподобий отдельных наблюдений:

${\displaystyle {\mathcal {L}}(\beta ;Y,X)=\prod _{i=1}^{n}\left(\Phi (x_{i}^{\operatorname {T} }\beta )^{y_{i}}[1-\Phi (x_{i}^{\operatorname {T} }\beta )]^{(1-y_{i})}\right)}$

Таким образом, совместная логарифмическая функция правдоподобия имеет вид

${\displaystyle \ln {\mathcal {L}}(\beta ;Y,X)=\sum _{i=1}^{n}{\bigg (}y_{i}\ln \Phi (x_{i}^{\operatorname {T} }\beta )+(1-y_{i})\ln \!{\big (}1-\Phi (x_{i}^{\operatorname {T} }\beta ){\big )}{\bigg )}}$

Оценщик , который максимизирует эту функцию, будет последовательным , асимптотически нормальным и эффективным при условии, что существует и не является сингулярным. Можно показать, что эта функция логарифмического правдоподобия глобально вогнута в , и поэтому стандартные численные алгоритмы оптимизации быстро сойдутся к уникальному максимуму.${\displaystyle {\hat {\beta }}}$${\displaystyle \operatorname {E} [XX^{\operatorname {T} }]}$${\displaystyle \beta }$

Асимптотическое распределение для имеет вид${\displaystyle {\hat {\beta }}}$

${\displaystyle {\sqrt {n}}({\hat {\beta }}-\beta )\ {\xrightarrow {d}}\ {\mathcal {N}}(0,\,\Omega ^{-1}),}$

где

${\displaystyle \Omega =\operatorname {E} {\bigg [}{\frac {\varphi ^{2}(X^{\operatorname {T} }\beta )}{\Phi (X^{\operatorname {T} }\beta )(1-\Phi (X^{\operatorname {T} }\beta ))}}XX^{\operatorname {T} }{\bigg ]},\qquad {\hat {\Omega }}={\frac {1}{n}}\sum _{i=1}^{n}{\frac {\varphi ^{2}(x_{i}^{\operatorname {T} }{\hat {\beta }})}{\Phi (x_{i}^{\operatorname {T} }{\hat {\beta }})(1-\Phi (x_{i}^{\operatorname {T} }{\hat {\beta }}))}}x_{i}x_{i}^{\operatorname {T} },}$^{[ необходима ссылка ]}

и является функцией плотности вероятности ( PDF ) стандартного нормального распределения.${\displaystyle \varphi =\Phi '}$

Также доступны полупараметрические и непараметрические методы максимального правдоподобия для пробит-типа и других связанных моделей. ^[4]

Этот метод можно применять только тогда, когда имеется много наблюдений переменной отклика , имеющих одно и то же значение вектора регрессоров (такую ​​ситуацию можно назвать «много наблюдений на ячейку»). Более конкретно, модель можно сформулировать следующим образом.${\displaystyle y_{i}}$${\displaystyle x_{i}}$

Предположим, что среди n наблюдений имеется только T различных значений регрессоров, что можно обозначить как . Пусть будет числом наблюдений с , а числом таких наблюдений с . Мы предполагаем, что действительно имеется «много» наблюдений на каждую «ячейку»: для каждого .${\displaystyle \{y_{i},x_{i}\}_{i=1}^{n}}$${\displaystyle \{x_{(1)},\ldots ,x_{(T)}\}}$${\displaystyle n_{t}}$${\displaystyle x_{i}=x_{(t)},}$${\displaystyle r_{t}}$${\displaystyle y_{i}=1}$${\displaystyle t,\lim _{n\rightarrow \infty }n_{t}/n=c_{t}>0}$

Обозначить

${\displaystyle {\hat {p}}_{t}=r_{t}/n_{t}}$

${\displaystyle {\hat {\sigma }}_{t}^{2}={\frac {1}{n_{t}}}{\frac {{\hat {p}}_{t}(1-{\hat {p}}_{t})}{\varphi ^{2}{\big (}\Phi ^{-1}({\hat {p}}_{t}){\big )}}}}$

Тогда минимальная оценка хи-квадрат Берксона является обобщенной оценкой наименьших квадратов в регрессии на с весами :${\displaystyle \Phi ^{-1}({\hat {p}}_{t})}$${\displaystyle x_{(t)}}$${\displaystyle {\hat {\sigma }}_{t}^{-2}}$

${\displaystyle {\hat {\beta }}={\Bigg (}\sum _{t=1}^{T}{\hat {\sigma }}_{t}^{-2}x_{(t)}x_{(t)}^{\operatorname {T} }{\Bigg )}^{-1}\sum _{t=1}^{T}{\hat {\sigma }}_{t}^{-2}x_{(t)}\Phi ^{-1}({\hat {p}}_{t})}$

Можно показать, что эта оценка является последовательной (при n →∞ и фиксированном T ), асимптотически нормальной и эффективной. ^{[ требуется ссылка ]} Ее преимуществом является наличие замкнутой формулы для оценки. Однако проводить этот анализ имеет смысл только тогда, когда отдельные наблюдения недоступны, а доступны только их агрегированные подсчеты , , и (например, при анализе поведения избирателей).${\displaystyle r_{t}}$${\displaystyle n_{t}}$${\displaystyle x_{(t)}}$

Выборка Гиббса пробит-модели возможна, поскольку регрессионные модели обычно используют нормальные априорные распределения по весам, и это распределение сопряжено с нормальным распределением ошибок (и, следовательно, скрытых переменных Y ^* ). Модель можно описать как

${\displaystyle {\begin{aligned}{\boldsymbol {\beta }}&\sim {\mathcal {N}}(\mathbf {b} _{0},\mathbf {B} _{0})\\[3pt]y_{i}^{\ast }\mid \mathbf {x} _{i},{\boldsymbol {\beta }}&\sim {\mathcal {N}}(\mathbf {x} _{i}^{\operatorname {T} }{\boldsymbol {\beta }},1)\\[3pt]y_{i}&={\begin{cases}1&{\text{if }}y_{i}^{\ast }>0\\0&{\text{otherwise}}\end{cases}}\end{aligned}}}$

Отсюда можно определить необходимые полные условные плотности:

${\displaystyle {\begin{aligned}\mathbf {B} &=(\mathbf {B} _{0}^{-1}+\mathbf {X} ^{\operatorname {T} }\mathbf {X} )^{-1}\\[3pt]{\boldsymbol {\beta }}\mid \mathbf {y} ^{\ast }&\sim {\mathcal {N}}(\mathbf {B} (\mathbf {B} _{0}^{-1}\mathbf {b} _{0}+\mathbf {X} ^{\operatorname {T} }\mathbf {y} ^{\ast }),\mathbf {B} )\\[3pt]y_{i}^{\ast }\mid y_{i}=0,\mathbf {x} _{i},{\boldsymbol {\beta }}&\sim {\mathcal {N}}(\mathbf {x} _{i}^{\operatorname {T} }{\boldsymbol {\beta }},1)[y_{i}^{\ast }<0]\\[3pt]y_{i}^{\ast }\mid y_{i}=1,\mathbf {x} _{i},{\boldsymbol {\beta }}&\sim {\mathcal {N}}(\mathbf {x} _{i}^{\operatorname {T} }{\boldsymbol {\beta }},1)[y_{i}^{\ast }\geq 0]\end{aligned}}}$

Результат для приведен в статье о байесовской линейной регрессии , хотя и указан с другими обозначениями.${\displaystyle {\boldsymbol {\beta }}}$

Единственная сложность в последних двух уравнениях. Обозначение — скобка Айверсона , иногда пишется или похоже. Оно указывает, что распределение должно быть усечено в пределах заданного диапазона и соответствующим образом перемасштабировано. В этом конкретном случае возникает усеченное нормальное распределение . Выборка из этого распределения зависит от того, насколько усечено. Если остается большая часть исходной массы, выборку можно легко сделать с помощью выборки отклонения — просто выберите число из неусеченного распределения и отклоните его, если оно выходит за пределы ограничения, налагаемого усечением. Однако, если выборка выполняется только из небольшой части исходной массы (например, если выборка выполняется из одного из хвостов нормального распределения — например, если около 3 или более, и требуется отрицательная выборка), то это будет неэффективно, и придется прибегнуть к другим алгоритмам выборки. Общую выборку из усеченной нормальной функции можно осуществить с помощью приближений к нормальной функции распределения и пробит-функции , а в R имеется функция для генерации усеченно-нормальных выборок.${\displaystyle [y_{i}^{\ast }<0]}$${\displaystyle {\mathcal {I}}(y_{i}^{\ast }<0)}$${\displaystyle \mathbf {x} _{i}^{\operatorname {T} }{\boldsymbol {\beta }}}$rtnorm()

Пригодность предполагаемой бинарной модели можно оценить, подсчитав количество истинных наблюдений, равных 1, и количество, равное нулю, для которых модель назначает правильную предсказанную классификацию, рассматривая любую предполагаемую вероятность выше 1/2 (или ниже 1/2) как назначение предсказания 1 (или 0). Подробности см. в разделе Логистическая регрессия § Модель .

This section may require cleanup to meet Wikipedia's quality standards. The specific problem is: Need to adopt the notation of the rest of the article, fix grammar, and make prose clearer. Please help improve this section if you can. (June 2019) (Learn how and when to remove this message)

Рассмотрим формулировку модели скрытых переменных пробит-модели. Когда дисперсия условного значения не является постоянной, а зависит от , то возникает проблема гетероскедастичности . Например, предположим, что и , где — непрерывная положительная объясняющая переменная. При гетероскедастичности оценка пробит-модели для обычно несостоятельна, и большинство тестов на коэффициенты недействительны. Что еще более важно, оценка для также становится несостоятельной. Чтобы справиться с этой проблемой, исходную модель необходимо преобразовать в гомоскедастичную. Например, в том же примере можно переписать как , где . Следовательно, и запуск пробит-модели для генерирует состоятельную оценку для условной вероятности${\displaystyle \varepsilon }$${\displaystyle x}$${\displaystyle x}$${\displaystyle y^{*}=\beta _{0}+B_{1}x_{1}+\varepsilon }$${\displaystyle \varepsilon \mid x\sim N(0,x_{1}^{2})}$${\displaystyle x_{1}}$${\displaystyle \beta }$${\displaystyle P(y=1\mid x)}$${\displaystyle 1[\beta _{0}+\beta _{1}x_{1}+\varepsilon >0]}$${\displaystyle 1[\beta _{0}/x_{1}+\beta _{1}+\varepsilon /x_{1}>0]}$${\displaystyle \varepsilon /x_{1}\mid x\sim N(0,1)}$${\displaystyle P(y=1\mid x)=\Phi (\beta _{1}+\beta _{0}/x_{1})}$${\displaystyle (1,1/x_{1})}$ ${\displaystyle P(y=1\mid x).}$

Когда предположение о том, что распределение нормальное, не выполняется, возникает проблема неверной спецификации функциональной формы : если модель по-прежнему оценивается как пробит-модель, оценки коэффициентов несостоятельны. Например, если следует логистическому распределению в истинной модели, но модель оценивается по пробиту, оценки будут в целом меньше истинного значения. Однако несостоятельность оценок коэффициентов практически не имеет значения, поскольку оценки для частичных эффектов, будут близки к оценкам, полученным с помощью истинной логит-модели. ^[5]${\displaystyle \varepsilon }$${\displaystyle \beta }$${\displaystyle \varepsilon }$${\displaystyle \partial P(y=1\mid x)/\partial x_{i'}}$

Чтобы избежать проблемы неправильной спецификации распределения, можно принять общее предположение о распределении для погрешности, так что в модель можно включить много различных типов распределения. Стоимостью являются более тяжелые вычисления и более низкая точность при увеличении числа параметров. ^[6] В большинстве случаев на практике, когда форма распределения указана неправильно, оценки коэффициентов несостоятельны, но оценки условной вероятности и частичных эффектов по-прежнему очень хороши. ^{[ необходима цитата ]}

Можно также использовать полупараметрические или непараметрические подходы, например, с помощью методов локальной вероятности или непараметрических методов квазиправдоподобия, которые избегают предположений о параметрической форме для индексной функции и являются устойчивыми к выбору функции связи (например, пробит или логит). ^[4]

Модель пробит обычно приписывают Честеру Блиссу , который ввел термин «пробит» в 1934 году, ^[7] и Джону Гэддуму (1933), который систематизировал более ранние работы. ^[8] Однако базовая модель восходит к закону Вебера-Фехнера Густава Фехнера , опубликованному в Fechner (1860), и неоднократно переоткрывалась вплоть до 1930-х годов; см. Finney (1971, Глава 3.6) и Aitchison & Brown (1957, Глава 1.2). ^[8]

Быстрый метод вычисления оценок максимального правдоподобия для пробит-модели был предложен Рональдом Фишером в качестве приложения к работе Блисса в 1935 году. ^[9]

• Обобщенная линейная модель
• Ограниченная зависимая переменная
• Логит-модель
• Мультиномиальный пробит
• Многомерные пробит- модели
• Упорядоченная пробит- и упорядоченная логит- модель
• Разделение (статистика)
• Модель Тобита

• Альберт, Дж. Х.; Чиб, С. (1993). «Байесовский анализ бинарных и полихотомических данных отклика». Журнал Американской статистической ассоциации . 88 (422): 669– 679. doi :10.1080/01621459.1993.10476321. JSTOR  2290350.
• Амемия, Такеши (1985). «Модели качественного реагирования». Advanced Econometrics . Oxford: Basil Blackwell. стр.  267–359 . ISBN 0-631-13345-3.
• Гурьеру, Кристиан (2000). «Простая дихотомия». Эконометрика качественных зависимых переменных . Нью-Йорк: Cambridge University Press. С.  6–37 . ISBN 0-521-58985-1.
• Ляо, Тим Фьютинг (1994). Интерпретация вероятностных моделей: логит, пробит и другие обобщенные линейные модели . Sage. ISBN 0-8039-4999-5.
• МакКаллах, Питер ; Джон Нелдер (1989). Обобщенные линейные модели . Лондон: Chapman and Hall. ISBN 0-412-31760-5.

• Медиа, связанные с моделью Probit на Wikimedia Commons
• Лекция по эконометрике (тема: модель Probit) на YouTube от Марка Тома