Кредитное плечо (статистика)
Статистический термин

В статистике и, в частности, в регрессионном анализе , кредитное плечо является мерой того, насколько далеки значения независимых переменных наблюдения от значений других наблюдений. Точки с высоким кредитным плечом , если таковые имеются, являются выбросами по отношению к независимым переменным . То есть, точки с высоким кредитным плечом не имеют соседних точек в пространстве, где — число независимых переменных в регрессионной модели. Это делает подобранную модель, вероятно, близкой к наблюдению с высоким кредитным плечом. [1] Следовательно, точки с высоким кредитным плечом могут вызывать большие изменения в оценках параметров при их удалении, т. е. быть влиятельными точками . Хотя влиятельная точка обычно будет иметь высокое кредитное плечо, точка с высоким кредитным плечом не обязательно является влиятельной точкой. Кредитное плечо обычно определяется как диагональные элементы матрицы шляпы . [2] Р п {\displaystyle \mathbb {R} ^{p}} п {\displaystyle {п}}

Определение и толкование

Рассмотрим линейную регрессионную модель , . То есть, , где, — матрица дизайна , строки которой соответствуют наблюдениям, а столбцы — независимым или объясняющим переменным. Оценка рычага для независимого наблюдения задается как: у я = х я ⊤ β + ε я {\displaystyle {y}_{i}={\boldsymbol {x}}_{i}^{\top }{\boldsymbol {\beta }}+{\varepsilon }_{i}} я = 1 , 2 , … , н {\displaystyle i=1,\,2,\ldots ,\,n} у = Х β + ε {\displaystyle {\boldsymbol {y}}=\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}} Х {\displaystyle \mathbf {X} } н × п {\displaystyle n\times p} я т час {\displaystyle {я}^{й}} х я {\displaystyle {\boldsymbol {x}}_{i}}

час я я = [ ЧАС ] я я = х я ⊤ ( Х ⊤ Х ) − 1 х я {\displaystyle h_{ii}=\left[\mathbf {H} \right]_{ii}={\boldsymbol {x}}_{i}^{\top }\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}{\boldsymbol {x}}_{i}} , диагональный элемент матрицы ортопроекции ( также известной как матрица шляпы) . i t h {\displaystyle {i}^{th}} H = X ( X ⊤ X ) − 1 X ⊤ {\displaystyle \mathbf {H} =\mathbf {X} \left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }}

Таким образом, оценка левериджа может рассматриваться как «взвешенное» расстояние между средним значением 's (см. его связь с расстоянием Махаланобиса). Его также можно интерпретировать как степень, в которой измеренное (зависимое) значение (т. е. ) влияет на подобранное (прогнозируемое) значение (т. е. ): математически, i t h {\displaystyle {i}^{th}} x i {\displaystyle {\boldsymbol {x}}_{i}} x i {\displaystyle {\boldsymbol {x}}_{i}} i t h {\displaystyle {i}^{th}} y i {\displaystyle y_{i}} i t h {\displaystyle {i}^{th}} y ^ i {\displaystyle {\widehat {y\,}}_{i}}

h i i = ∂ y ^ i ∂ y i {\displaystyle h_{ii}={\frac {\partial {\widehat {y\,}}_{i}}{\partial y_{i}}}} .

Следовательно, оценка рычага также известна как самочувствительность наблюдения или самовлияние. [3] Используя тот факт, что (т.е. прогноз является орто-проекцией на диапазонное пространство ) в приведенном выше выражении, мы получаем . Обратите внимание, что этот рычаг зависит от значений объясняющих переменных всех наблюдений, но не от каких-либо значений зависимых переменных . y ^ = H y {\displaystyle {\boldsymbol {\widehat {y}}}={\mathbf {H} }{\boldsymbol {y}}} y ^ {\displaystyle {\boldsymbol {\widehat {y}}}} y {\displaystyle {\boldsymbol {y}}} X {\displaystyle \mathbf {X} } h i i = [ H ] i i {\displaystyle h_{ii}=\left[\mathbf {H} \right]_{ii}} ( X ) {\displaystyle (\mathbf {X} )} ( y i ) {\displaystyle (y_{i})}

Характеристики

  1. Кредитное плечо   — это число от 0 до 1, Доказательство: Обратите внимание, что — идемпотентная матрица ( ) и симметричная ( ). Таким образом, используя тот факт, что , мы имеем . Поскольку мы знаем, что , мы имеем . h i i {\displaystyle h_{ii}} 0 ≤ h i i ≤ 1. {\displaystyle 0\leq h_{ii}\leq 1.}
    H {\displaystyle \mathbf {H} } H 2 = H {\displaystyle \mathbf {H} ^{2}=\mathbf {H} } h i j = h j i {\displaystyle h_{ij}=h_{ji}} [ H 2 ] i i = [ H ] i i {\displaystyle \left[\mathbf {H} ^{2}\right]_{ii}=\left[\mathbf {H} \right]_{ii}} h i i = h i i 2 + ∑ j ≠ i h i j 2 {\displaystyle h_{ii}=h_{ii}^{2}+\sum _{j\neq i}h_{ij}^{2}} ∑ j ≠ i h i j 2 ≥ 0 {\displaystyle \sum _{j\neq i}h_{ij}^{2}\geq 0} h i i ≥ h i i 2 ⟹ 0 ≤ h i i ≤ 1 {\displaystyle h_{ii}\geq h_{ii}^{2}\implies 0\leq h_{ii}\leq 1}
  2. Сумма плеч равна числу параметров в (включая отсекаемый отрезок). Доказательство: . ( p ) {\displaystyle (p)} β {\displaystyle {\boldsymbol {\beta }}}
    ∑ i = 1 n h i i = Tr ⁡ ( H ) = Tr ⁡ ( X ( X ⊤ X ) − 1 X ⊤ ) = Tr ⁡ ( X ⊤ X ( X ⊤ X ) − 1 ) = Tr ⁡ ( I p ) = p {\displaystyle \sum _{i=1}^{n}h_{ii}=\operatorname {Tr} (\mathbf {H} )=\operatorname {Tr} \left(\mathbf {X} \left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\right)=\operatorname {Tr} \left(\mathbf {X} ^{\top }\mathbf {X} \left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\right)=\operatorname {Tr} (\mathbf {I} _{p})=p}

Определение выбросов в X с использованием рычагов

Большое кредитное плечо соответствует , которое является экстремальным. Общее правило заключается в том, чтобы определить, чье кредитное плечо более чем в 2 раза больше среднего кредитного плеча (см. свойство 2 выше). То есть, если , следует считать выбросом. Некоторые статистики предпочитают порог вместо . h i i {\displaystyle {h_{ii}}} x i {\displaystyle {{\boldsymbol {x}}_{i}}} x i {\displaystyle {{\boldsymbol {x}}_{i}}} h i i {\displaystyle {h}_{ii}} h ¯ = 1 n ∑ i = 1 n h i i = p n {\displaystyle {\bar {h}}={\dfrac {1}{n}}\sum _{i=1}^{n}h_{ii}={\dfrac {p}{n}}} h i i > 2 p n {\displaystyle h_{ii}>2{\dfrac {p}{n}}} x i {\displaystyle {{\boldsymbol {x}}_{i}}} 3 p / n {\displaystyle 3p/{n}} 2 p / n {\displaystyle 2p/{n}}

Отношение к расстоянию Махаланобиса

Кредитное плечо тесно связано с расстоянием Махаланобиса (доказательство [4] ). В частности, для некоторой матрицы квадрат расстояния Махаланобиса (где — строка ) от вектора среднего значения длины , равен , где — предполагаемая ковариационная матрица ' s. Это связано с кредитным плечом матрицы шляпы после добавления к ней вектора-столбца из 1. Связь между ними следующая: n × p {\displaystyle n\times p} X {\displaystyle \mathbf {X} } x i {\displaystyle {{\boldsymbol {x}}_{i}}} x i ⊤ {\displaystyle {\boldsymbol {x}}_{i}^{\top }} i t h {\displaystyle {i}^{th}} X {\displaystyle \mathbf {X} } μ ^ = ∑ i = 1 n x i {\displaystyle {\widehat {\boldsymbol {\mu }}}=\sum _{i=1}^{n}{\boldsymbol {x}}_{i}} p {\displaystyle p} D 2 ( x i ) = ( x i − μ ^ ) ⊤ S − 1 ( x i − μ ^ ) {\displaystyle D^{2}({\boldsymbol {x}}_{i})=({\boldsymbol {x}}_{i}-{\widehat {\boldsymbol {\mu }}})^{\top }\mathbf {S} ^{-1}({\boldsymbol {x}}_{i}-{\widehat {\boldsymbol {\mu }}})} S = X ⊤ X {\displaystyle \mathbf {S} =\mathbf {X} ^{\top }\mathbf {X} } x i {\displaystyle {{\boldsymbol {x}}_{i}}} h i i {\displaystyle h_{ii}} X {\displaystyle \mathbf {X} }

D 2 ( x i ) = ( n − 1 ) ( h i i − 1 n ) {\displaystyle D^{2}({\boldsymbol {x}}_{i})=(n-1)(h_{ii}-{\tfrac {1}{n}})}

Эта взаимосвязь позволяет нам разложить леверидж на значимые компоненты, чтобы некоторые источники высокого левериджа можно было исследовать аналитически. [5]

Отношение к функциям влияния

В контексте регрессии мы объединяем функции рычага и влияния , чтобы вычислить степень, в которой изменятся оцененные коэффициенты, если мы удалим одну точку данных. Обозначая остатки регрессии как , можно сравнить оцененный коэффициент с оцененным коэффициентом с исключением одного, используя формулу [6] [7] e ^ i = y i − x i ⊤ β ^ {\displaystyle {\widehat {e}}_{i}=y_{i}-{\boldsymbol {x}}_{i}^{\top }{\widehat {\boldsymbol {\beta }}}} β ^ {\displaystyle {\widehat {\boldsymbol {\beta }}}} β ^ ( − i ) {\displaystyle {\widehat {\boldsymbol {\beta }}}^{(-i)}}

β ^ − β ^ ( − i ) = ( X ⊤ X ) − 1 x i e ^ i 1 − h i i {\displaystyle {\widehat {\boldsymbol {\beta }}}-{\widehat {\boldsymbol {\beta }}}^{(-i)}={\frac {(\mathbf {X} ^{\top }\mathbf {X} )^{-1}{\boldsymbol {x}}_{i}{\widehat {e}}_{i}}{1-h_{ii}}}}

Young (2019) использует версию этой формулы после остаточного контроля. [8] Чтобы получить интуитивное представление об этой формуле, обратите внимание, что фиксирует потенциальную возможность наблюдения влиять на параметры регрессии и, следовательно, фиксирует фактическое влияние отклонений этих наблюдений от его подобранного значения на параметры регрессии. Затем формула делится на для учета того факта, что мы удаляем наблюдение, а не корректируем его значение, отражая тот факт, что удаление больше изменяет распределение ковариатов при применении к наблюдениям с высоким плечом (т. е. с выбросами значений ковариатов). Аналогичные формулы возникают при применении общих формул для функций статистического влияния в контексте регрессии. [9] [10] ∂ β ^ ∂ y i = ( X ⊤ X ) − 1 x i {\displaystyle {\frac {\partial {\hat {\beta }}}{\partial y_{i}}}=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}{\boldsymbol {x}}_{i}} ( X ⊤ X ) − 1 x i e ^ i {\displaystyle (\mathbf {X} ^{\top }\mathbf {X} )^{-1}{\boldsymbol {x}}_{i}{\widehat {e}}_{i}} ( 1 − h i i ) {\displaystyle (1-h_{ii})}

Влияние на остаточную дисперсию

Если мы находимся в обычной ситуации наименьших квадратов с фиксированными и гомоскедастическими ошибками регрессии , то остаток регрессии имеет дисперсию X {\displaystyle \mathbf {X} } ε i , {\displaystyle \varepsilon _{i},} y = X β + ε ;     Var ⁡ ( ε ) = σ 2 I {\displaystyle {\boldsymbol {y}}=\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }};\ \ \operatorname {Var} ({\boldsymbol {\varepsilon }})=\sigma ^{2}\mathbf {I} } i t h {\displaystyle {i}^{th}} e i = y i − y ^ i {\displaystyle e_{i}=y_{i}-{\widehat {y}}_{i}}

Var ⁡ ( e i ) = ( 1 − h i i ) σ 2 {\displaystyle \operatorname {Var} (e_{i})=(1-h_{ii})\sigma ^{2}} .

Другими словами, оценка рычага наблюдения определяет степень шума в неверном прогнозе модели этого наблюдения, причем более высокий рычаг приводит к меньшему шуму. Это следует из того факта, что является идемпотентным и симметричным и , следовательно, . I − H {\displaystyle \mathbf {I} -\mathbf {H} } y ^ = H y {\displaystyle {\widehat {\boldsymbol {y}}}=\mathbf {H} {\boldsymbol {y}}} Var ⁡ ( e ) = Var ⁡ ( ( I − H ) y ) = ( I − H ) Var ⁡ ( y ) ( I − H ) ⊤ = σ 2 ( I − H ) 2 = σ 2 ( I − H ) {\displaystyle \operatorname {Var} ({\boldsymbol {e}})=\operatorname {Var} ((\mathbf {I} -\mathbf {H} ){\boldsymbol {y}})=(\mathbf {I} -\mathbf {H} )\operatorname {Var} ({\boldsymbol {y}})(\mathbf {I} -\mathbf {H} )^{\top }=\sigma ^{2}(\mathbf {I} -\mathbf {H} )^{2}=\sigma ^{2}(\mathbf {I} -\mathbf {H} )}

Соответствующий стьюдентизированный остаток — остаток, скорректированный с учетом его оценочной остаточной дисперсии, специфичной для наблюдения, — затем равен

t i = e i σ ^ 1 − h i i   {\displaystyle t_{i}={e_{i} \over {\widehat {\sigma }}{\sqrt {1-h_{ii}\ }}}}

где — соответствующая оценка . σ ^ {\displaystyle {\widehat {\sigma }}} σ {\displaystyle \sigma }

Частичное кредитное плечо

Частичный леверидж ( PL ) — это мера вклада отдельных независимых переменных в общий леверидж каждого наблюдения. То есть PL — это мера того, как изменяется переменная, добавляемая в регрессионную модель. Она вычисляется как: h i i {\displaystyle h_{ii}}

( P L j ) i = ( X j ∙ [ j ] ) i 2 ∑ k = 1 n ( X j ∙ [ j ] ) k 2 {\displaystyle \left(\mathrm {PL} _{j}\right)_{i}={\frac {\left(\mathbf {X} _{j\bullet [j]}\right)_{i}^{2}}{\sum _{k=1}^{n}\left(\mathbf {X} _{j\bullet [j]}\right)_{k}^{2}}}}

где — индекс независимой переменной, — индекс наблюдения, а — остатки от регрессии по оставшимся независимым переменным. Обратите внимание, что частичное плечо — это плечо точки на графике частичной регрессии для переменной. Точки данных с большим частичным плечом для независимой переменной могут оказывать ненадлежащее влияние на выбор этой переменной в процедурах построения автоматической регрессионной модели. j {\displaystyle j} i {\displaystyle i} X j ∙ [ j ] {\displaystyle \mathbf {X} _{j\bullet [j]}} X j {\displaystyle \mathbf {X} _{j}} i t h {\displaystyle {i}^{th}} j t h {\displaystyle {j}^{th}}

Реализации программного обеспечения

Многие программы и статистические пакеты, такие как R , Python и т. д., включают в себя реализации Leverage.

Язык/ПрограммаФункцияПримечания
Рhat(x, intercept = TRUE)илиhatvalues(model, ...)См. [1]
Питон(x * np.linalg.pinv(x).T).sum(-1)См. [2]

Смотрите также

Ссылки

  1. ^ Эверитт, Б.С. (2002). Кембриджский словарь статистики . Издательство Кембриджского университета. ISBN 0-521-81099-X.
  2. ^ Джеймс, Гарет; Виттен, Даниэла; Хасти, Тревор; Тибширани, Роберт (2021). Введение в статистическое обучение: с приложениями в R (Второе изд.). Нью-Йорк, Нью-Йорк: Springer. стр. 112. ISBN 978-1-0716-1418-1. Получено 29 октября 2024 г.
  3. ^ Кардинали, К. (июнь 2013 г.). «Усвоение данных: диагностика влияния наблюдения на систему усвоения данных» (PDF) .
  4. ^ Докажите связь между расстоянием Махаланобиса и кредитным плечом?
  5. ^ Ким, МГ (2004). «Источники высокого левериджа в модели линейной регрессии (Журнал прикладной математики и вычислений, том 16, 509–513)». arXiv : 2006.04024 [math.ST].
  6. ^ Миллер, Руперт Г. (сентябрь 1974 г.). «Несбалансированный складной нож». Annals of Statistics . 2 (5): 880– 891. doi : 10.1214/aos/1176342811 . ISSN  0090-5364.
  7. ^ Хияши, Фумио (2000). Эконометрика . Princeton University Press. стр. 21.
  8. ^ Янг, Элвин (2019). «Ченнелинг Фишера: рандомизационные тесты и статистическая незначимость кажущихся значимыми экспериментальных результатов». The Quarterly Journal of Economics . 134 (2): 567. doi : 10.1093/qje/qjy029 .
  9. ^ Чаттерджи, Самприт; Хади, Али С. (август 1986 г.). «Влиятельные наблюдения, точки высокого рычага и выбросы в линейной регрессии». Статистическая наука . 1 (3): 379–393 . doi : 10.1214/ss/1177013622 . ISSN  0883-4237.
  10. ^ "регрессия - функции влияния и МНК". Перекрестная проверка . Получено 2020-12-06 .
Retrieved from "https://en.wikipedia.org/w/index.php?title=Leverage_(statistics)&oldid=1254045700"