Матрица проекции
Понятие в статистике

В статистике матрица проекции [1] , иногда также называемая матрицей влияния [2] или матрицей шляпы , отображает вектор значений отклика (значений зависимой переменной) в вектор подобранных значений (или предсказанных значений). Она описывает влияние каждого значения отклика на каждое подобранное значение. [3] [4] Диагональные элементы матрицы проекции являются рычагами , которые описывают влияние каждого значения отклика на подобранное значение для того же наблюдения. ( П ) {\displaystyle (\mathbf {P} )} ( ЧАС ) {\displaystyle (\mathbf {H} )}

Определение

Если вектор значений отклика обозначить как , а вектор подобранных значений как , у {\displaystyle \mathbf {y} } у ^ {\displaystyle \mathbf {\hat {y}} }

у ^ = П у . {\displaystyle \mathbf {\hat {y}} =\mathbf {P} \mathbf {y} .}

Как обычно произносится «й-хэт», проекционную матрицу также называют матрицей шляпы, поскольку она «надевает шляпу » . у ^ {\displaystyle \mathbf {\hat {y}} } П {\displaystyle \mathbf {P} } у {\displaystyle \mathbf {y} }

Заявка на остатки

Формулу для вектора остатков можно также компактно выразить с помощью проекционной матрицы: г {\displaystyle \mathbf {r} }

г = у − у ^ = у − П у = ( я − П ) у . {\displaystyle \mathbf {r} =\mathbf {y} -\mathbf {\hat {y}} =\mathbf {y} -\mathbf {P} \mathbf {y} =\left(\mathbf {I} -\mathbf {P} \right)\mathbf {y} .}

где — единичная матрица . Матрица иногда называется остаточной матрицей-мейкером или матрицей-аннигилятором . я {\displaystyle \mathbf {Я} } М := я − П {\displaystyle \mathbf {М} :=\mathbf {Я} -\mathbf {П} }

Ковариационная матрица остатков , по распространению ошибок , равна г {\displaystyle \mathbf {r} }

Σ г = ( я − П ) Т Σ ( я − П ) {\displaystyle \mathbf {\Sigma } _{\mathbf {r} }=\left(\mathbf {I} -\mathbf {P} \right)^{\textsf {T}}\mathbf {\Sigma } \left(\mathbf {I} -\mathbf {P} \right)} ,

где — ковариационная матрица вектора ошибок (и, соответственно, вектора отклика). Для случая линейных моделей с независимыми и одинаково распределенными ошибками, в которых , это сводится к: [3] Σ {\displaystyle \mathbf {\Сигма } } Σ = σ 2 я {\displaystyle \mathbf {\Sigma } =\sigma ^{2}\mathbf {I} }

Σ г = ( я − П ) σ 2 {\displaystyle \mathbf {\Sigma } _{\mathbf {r} }=\left(\mathbf {I} -\mathbf {P} \right)\sigma ^{2}} .

Интуиция

Матрица имеет свое пространство столбцов, изображенное зеленой линией. Проекция некоторого вектора на пространство столбцов — это вектор А {\displaystyle \mathbf {A} } б {\displaystyle \mathbf {б} } А {\displaystyle \mathbf {A} } х {\displaystyle \mathbf {x} }

Из рисунка видно, что ближайшая точка от вектора к пространству столбцов , это , и это та, где мы можем провести линию, ортогональную пространству столбцов . Вектор, ортогональный пространству столбцов матрицы, находится в нулевом пространстве транспонированной матрицы, поэтому б {\displaystyle \mathbf {б} } А {\displaystyle \mathbf {A} } А х {\displaystyle \mathbf {Топор} } А {\displaystyle \mathbf {A} }

А Т ( б − А х ) = 0 {\displaystyle \mathbf {A} ^{\textsf {T}}(\mathbf {b} -\mathbf {Ax})=0} .

Оттуда перестраивается, так что

А Т б − А Т А х = 0 ⇒ А Т б = А Т А х ⇒ х = ( А Т А ) − 1 А Т б {\displaystyle {\begin{aligned}&&\mathbf {A} ^{\textsf {T}}\mathbf {b} &-\mathbf {A} ^{\textsf {T}}\mathbf {Ax} =0 \\\Rightarrow &&\mathbf {A} ^{\textsf {T}}\mathbf {b} &=\mathbf {A} ^{\textsf {T}}\mathbf {Ax} \\\Rightarrow &&\mathbf {x} &=\left(\mathbf {A} ^{\textsf {T}}\mathbf {A} \ вправо)^{-1}\mathbf {A} ^{\textsf {T}}\mathbf {b} \end{aligned}}} .

Следовательно, поскольку находится в пространстве столбцов , матрица проекции, которая отображается на , равна . А х {\displaystyle \mathbf {Топор} } А {\displaystyle \mathbf {A} } б {\displaystyle \mathbf {б} } х {\displaystyle \mathbf {x} } А ( А Т А ) − 1 А Т {\displaystyle \mathbf {A} \left(\mathbf {A} ^{\textsf {T}} \mathbf {A} \right)^{-1}\mathbf {A} ^{\textsf {T}} }

Линейная модель

Предположим, что мы хотим оценить линейную модель с использованием линейных наименьших квадратов. Модель может быть записана как

у = Х β + ε , {\displaystyle \mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }},}

где — матрица объясняющих переменных ( матрица дизайна ), β — вектор неизвестных параметров, подлежащих оценке, а ε — вектор ошибок. Х {\displaystyle \mathbf {X} }

Многие типы моделей и методов подчиняются этой формулировке. Несколько примеров — линейные наименьшие квадраты , сглаживающие сплайны , регрессионные сплайны , локальная регрессия , ядерная регрессия и линейная фильтрация .

Обычный метод наименьших квадратов

Когда веса для каждого наблюдения идентичны и ошибки некоррелированы, оценочные параметры равны

β ^ = ( Х Т Х ) − 1 Х Т у , {\displaystyle {\hat {\boldsymbol {\beta }}}=\left(\mathbf {X} ^{\textsf {T}}\mathbf {X} \right)^{-1}\mathbf {X} ^{\textsf {T}}\mathbf {y} ,}

поэтому подобранные значения

у ^ = Х β ^ = Х ( Х Т Х ) − 1 Х Т у . {\displaystyle {\hat {\mathbf {y} }}=\mathbf {X} {\hat {\boldsymbol {\beta }}}=\mathbf {X} \left(\mathbf {X} ^{\textsf {T}}\mathbf {X} \right)^{-1}\mathbf {X} ^{\textsf {T}}\mathbf {y} .}

Таким образом, матрица проекции (и матрица шляпы) определяется как

П := Х ( Х Т Х ) − 1 Х Т . {\displaystyle \mathbf {P} :=\mathbf {X} \left(\mathbf {X} ^{\textsf {T}}\mathbf {X} \right)^{-1}\mathbf {X} ^{\textsf {T}}.}

Взвешенные и обобщенные наименьшие квадраты

Вышесказанное можно обобщить на случаи, когда веса не идентичны и/или ошибки коррелируют. Предположим, что ковариационная матрица ошибок равна Σ . Тогда, поскольку

β ^ ГЛС = ( Х Т Σ − 1 Х ) − 1 Х Т Σ − 1 у {\displaystyle {\hat {\mathbf {\beta } }}_{\text{GLS}}=\left(\mathbf {X} ^{\textsf {T}}\mathbf {\Sigma } ^{-1}\mathbf {X} \right)^{-1}\mathbf {X} ^{\textsf {T}}\mathbf {\Sigma } ^{-1}\mathbf {y} } .

матрица шляпы, таким образом,

ЧАС = Х ( Х Т Σ − 1 Х ) − 1 Х Т Σ − 1 {\displaystyle \mathbf {H} =\mathbf {X} \left(\mathbf {X} ^{\textsf {T}}\mathbf {\Sigma } ^{-1}\mathbf {X} \right)^{-1}\mathbf {X} ^{\textsf {T}}\mathbf {\Sigma } ^{-1}}

и снова можно увидеть, что , хотя теперь это уже не симметрично. ЧАС 2 = ЧАС ⋅ ЧАС = ЧАС {\displaystyle H^{2}=H\cdot H=H}

Характеристики

Матрица проекции обладает рядом полезных алгебраических свойств. [5] [6] На языке линейной алгебры матрица проекции представляет собой ортогональную проекцию на пространство столбцов матрицы проектирования . [4] (Обратите внимание, что это псевдообратная матрица X. ) Некоторые факты о матрице проекции в этой настройке суммируются следующим образом: [4] X {\displaystyle \mathbf {X} } ( X T X ) − 1 X T {\displaystyle \left(\mathbf {X} ^{\textsf {T}}\mathbf {X} \right)^{-1}\mathbf {X} ^{\textsf {T}}}

  • u = ( I − P ) y , {\displaystyle \mathbf {u} =(\mathbf {I} -\mathbf {P} )\mathbf {y} ,} и u = y − P y ⊥ X . {\displaystyle \mathbf {u} =\mathbf {y} -\mathbf {P} \mathbf {y} \perp \mathbf {X} .}
  • P {\displaystyle \mathbf {P} } симметричен, так же как и . M := I − P {\displaystyle \mathbf {M} :=\mathbf {I} -\mathbf {P} }
  • P {\displaystyle \mathbf {P} } является идемпотентным: , и также является . P 2 = P {\displaystyle \mathbf {P} ^{2}=\mathbf {P} } M {\displaystyle \mathbf {M} }
  • Если — матрица n × r с , то X {\displaystyle \mathbf {X} } rank ⁡ ( X ) = r {\displaystyle \operatorname {rank} (\mathbf {X} )=r} rank ⁡ ( P ) = r {\displaystyle \operatorname {rank} (\mathbf {P} )=r}
  • Собственные значения состоят из r единиц и n − r нулей, тогда как собственные значения состоят из n − r единиц и r нулей. [7] P {\displaystyle \mathbf {P} } M {\displaystyle \mathbf {M} }
  • X {\displaystyle \mathbf {X} } инвариантен относительно  : следовательно . P {\displaystyle \mathbf {P} } P X = X , {\displaystyle \mathbf {PX} =\mathbf {X} ,} ( I − P ) X = 0 {\displaystyle \left(\mathbf {I} -\mathbf {P} \right)\mathbf {X} =\mathbf {0} }
  • ( I − P ) P = P ( I − P ) = 0 . {\displaystyle \left(\mathbf {I} -\mathbf {P} \right)\mathbf {P} =\mathbf {P} \left(\mathbf {I} -\mathbf {P} \right)=\mathbf {0} .}
  • P {\displaystyle \mathbf {P} } является уникальным для определенных подпространств.

Матрица проекции, соответствующая линейной модели , симметрична и идемпотентна , то есть . Однако это не всегда так; например, в локально взвешенном сглаживании диаграмм рассеяния (LOESS) матрица шляпы в общем случае не является ни симметричной, ни идемпотентной. P 2 = P {\displaystyle \mathbf {P} ^{2}=\mathbf {P} }

Для линейных моделей след матрицы проекции равен рангу , который представляет собой число независимых параметров линейной модели. [8] Для других моделей, таких как LOESS, которые по-прежнему линейны в наблюдениях , матрицу проекции можно использовать для определения эффективных степеней свободы модели. X {\displaystyle \mathbf {X} } y {\displaystyle \mathbf {y} }

Практические приложения проекционной матрицы в регрессионном анализе включают рычаг и расстояние Кука , которые связаны с выявлением влиятельных наблюдений , т. е. наблюдений, которые оказывают большое влияние на результаты регрессии.

Блочная формула

Предположим, что матрицу проектирования можно разложить по столбцам как . Определим оператор проекции или шляпу как . Аналогично, определим остаточный оператор как . Тогда матрицу проекции можно разложить следующим образом: [9] X {\displaystyle \mathbf {X} } X = [ A B ] {\displaystyle \mathbf {X} ={\begin{bmatrix}\mathbf {A} &\mathbf {B} \end{bmatrix}}} P [ X ] := X ( X T X ) − 1 X T {\displaystyle \mathbf {P} [\mathbf {X} ]:=\mathbf {X} \left(\mathbf {X} ^{\textsf {T}}\mathbf {X} \right)^{-1}\mathbf {X} ^{\textsf {T}}} M [ X ] := I − P [ X ] {\displaystyle \mathbf {M} [\mathbf {X} ]:=\mathbf {I} -\mathbf {P} [\mathbf {X} ]}

P [ X ] = P [ A ] + P [ M [ A ] B ] , {\displaystyle \mathbf {P} [\mathbf {X} ]=\mathbf {P} [\mathbf {A} ]+\mathbf {P} {\big [}\mathbf {M} [\mathbf {A} ]\mathbf {B} {\big ]},}

где, например, и . Существует ряд приложений такого разложения. В классическом приложении — это столбец всех единиц, что позволяет анализировать эффекты добавления свободного члена к регрессии. Другое применение — в модели с фиксированными эффектами , где — большая разреженная матрица фиктивных переменных для фиксированных членов эффекта. Можно использовать это разбиение для вычисления матрицы шляпы без явного формирования матрицы , которая может быть слишком большой для размещения в памяти компьютера. P [ A ] = A ( A T A ) − 1 A T {\displaystyle \mathbf {P} [\mathbf {A} ]=\mathbf {A} \left(\mathbf {A} ^{\textsf {T}}\mathbf {A} \right)^{-1}\mathbf {A} ^{\textsf {T}}} M [ A ] = I − P [ A ] {\displaystyle \mathbf {M} [\mathbf {A} ]=\mathbf {I} -\mathbf {P} [\mathbf {A} ]} A {\displaystyle \mathbf {A} } A {\displaystyle \mathbf {A} } X {\displaystyle \mathbf {X} } X {\displaystyle \mathbf {X} }

История

Матрица шляпы была введена Джоном Уайлдером в 1972 году. В статье Хоглина, Д.К. и Уэлша, Р.Э. (1978) приводятся свойства матрицы, а также множество примеров ее применения.

Смотрите также

Ссылки

  1. ^ Базилевский, Александр (2005). Прикладная матричная алгебра в статистических науках. Довер. С.  160–176 . ISBN 0-486-44538-0.
  2. ^ "Усвоение данных: диагностика влияния наблюдения на систему усвоения данных" (PDF) . Архивировано из оригинала (PDF) 2014-09-03.
  3. ^ ab Hoaglin, David C.; Welsch, Roy E. (февраль 1978 г.). «Матрица шляпы в регрессии и ANOVA» (PDF) . The American Statistician . 32 (1): 17– 22. doi :10.2307/2683469. hdl : 1721.1/1920 . JSTOR  2683469.
  4. ^ abc Дэвид А. Фридман (2009). Статистические модели: теория и практика . Cambridge University Press .
  5. ^ Ганс, П. (1992). Подгонка данных в химических науках . Wiley. ISBN 0-471-93412-7.
  6. ^ Дрейпер, Н. Р.; Смит, Х. (1998). Прикладной регрессионный анализ . Wiley. ISBN 0-471-17082-8.
  7. ^ Амемия, Такеши (1985). Продвинутая эконометрика . Кембридж: Издательство Гарвардского университета. С. 460–461. ISBN 0-674-00560-0.
  8. ^ "Доказательство того, что след матрицы 'hat' в линейной регрессии равен рангу X". Stack Exchange . 13 апреля 2017 г.
  9. ^ Рао, К. Радхакришна; Тутенбург, Хельге; Шалабх; Хойманн, Кристиан (2008). Линейные модели и обобщения (3-е изд.). Берлин: Шпрингер. п. 323. ИСБН 978-3-540-74226-5.
Retrieved from "https://en.wikipedia.org/w/index.php?title=Projection_matrix&oldid=1259959809"