Функциональный анализ главных компонент

Функциональный главный компонентный анализ ( FPCA ) — это статистический метод исследования доминирующих режимов изменения функциональных данных . При использовании этого метода случайная функция представляется в собственном базисе, который является ортонормированным базисом гильбертова пространства L2 ^, состоящим из собственных функций оператора автоковариации . FPCA представляет функциональные данные наиболее экономным способом, в том смысле, что при использовании фиксированного числа базисных функций базис собственных функций объясняет больше вариаций, чем любое другое базисное расширение. FPCA может применяться для представления случайных функций ^[1] или в функциональной регрессии ^[2] и классификации.

Для квадратично-интегрируемого стохастического процесса X ( t ), t ∈ 𝒯, пусть

${\displaystyle \mu (t)={\text{E}}(X(t))}$

и

${\displaystyle G(s,t)={\text{Cov}}(X(s),X(t))=\sum _{k=1}^{\infty }\lambda _{k}\varphi _{k}(s)\varphi _{k}(t),}$

где — собственные значения , а , , ... — ортонормированные собственные функции линейного оператора Гильберта–Шмидта${\displaystyle \lambda _{1}\geq \lambda _{2}\geq ...\geq 0}$${\displaystyle \varphi _{1}}$${\displaystyle \varphi _{2}}$

${\displaystyle G:L^{2}({\mathcal {T}})\rightarrow L^{2}({\mathcal {T}}),\,G(f)=\int _{\mathcal {T}}G(s,t)f(s)ds.}$

По теореме Карунена–Лоэва можно выразить центрированный процесс в собственном базисе,

${\displaystyle X(t)-\mu (t)=\sum _{k=1}^{\infty }\xi _{k}\varphi _{k}(t),}$

где

${\displaystyle \xi _{k}=\int _{\mathcal {T}}(X(t)-\mu (t))\varphi _{k}(t)dt}$

— главный компонент, связанный с k -й собственной функцией , со свойствами${\displaystyle \varphi _{k}}$

${\displaystyle {\text{E}}(\xi _{k})=0,{\text{Var}}(\xi _{k})=\lambda _{k}{\text{ и }}{\text{E}}(\xi _{k}\xi _{l})=0{\text{ для }}k\neq l.}$

Центрированный процесс тогда эквивалентен ξ ₁ , ξ ₂ , .... Обычно предполагается, что X может быть представлено только первыми несколькими собственными функциями (после вычитания средней функции), т.е.

${\displaystyle X(t)\approx X_{m}(t)=\mu (t)+\sum _{k=1}^{m}\xi _{k}\varphi _{k}(t),}$

где

${\displaystyle \mathrm {E} \left(\int _{\mathcal {T}}\left(X(t)-X_{m}(t)\right)^{2}dt\right)=\sum _{j>m}\lambda _{j}\rightarrow 0{\text{ as }}m\rightarrow \infty .}$

Первая собственная функция отображает доминирующий режим изменения X.${\displaystyle \varphi _{1}}$

${\displaystyle \varphi _{1}={\underset {\Vert \mathbf {\varphi } \Vert =1}{\operatorname {arg\,max} }}\left\{\operatorname {Var} (\int _{\mathcal {T}}(X(t)-\mu (t))\varphi (t)dt)\right\},}$

где

${\displaystyle \Vert \mathbf {\varphi } \Vert =\left(\int _ {\mathcal {T}}\varphi (t)^{2}dt\right)^{\frac {1}{2} }.}$

k -я собственная функция является доминирующей модой изменения, ортогональной к , , ... , ,${\displaystyle \varphi _{k}}$${\displaystyle \varphi _{1}}$${\displaystyle \varphi _{2}}$${\displaystyle \varphi _{k-1}}$

${\displaystyle \varphi _{k}={\underset {\Vert \mathbf {\varphi} \Vert =1,\langle \varphi,\varphi _{j}\rangle =0{\text{ for }}j =1,\dots ,k-1}{\operatorname {arg\,max} }}\left\{\operatorname {Var} (\int _ {\mathcal {T}}(X(t)-\mu (t))\varphi (t)dt)\right\},}$

где

${\ displaystyle \ langle \ varphi, \ varphi _ {j} \ rangle = \ int _ {\ mathcal {T}} \ varphi (t) \ varphi _ {j} (t) dt, {\ text { for }} j=1,\точки,k-1.}$

Пусть Y _ij = X _i ( t _ij ) + ε _ij будут наблюдениями, сделанными в местах (обычно во временных точках) t _ij , где X _i является i -й реализацией гладкого стохастического процесса, который генерирует данные, а ε _ij являются одинаково и независимо распределенной нормальной случайной величиной со средним значением 0 и дисперсией σ ² , j = 1, 2, ..., m _i . Чтобы получить оценку средней функции μ ( t _ij ), если доступна плотная выборка на регулярной сетке, можно взять среднее значение в каждом месте t _ij :

${\displaystyle {\hat {\mu }}(t_{ij})={\frac {1}{n}}\sum _{i=1}^{n}Y_{ij}.}$

Если наблюдения редки, необходимо сгладить данные, объединенные из всех наблюдений, чтобы получить среднюю оценку ^[3], используя такие методы сглаживания, как локальное линейное сглаживание или сглаживание сплайнами .

Затем оценка ковариационной функции получается путем усреднения (в плотном случае) или сглаживания (в разреженном случае) исходных ковариаций.${\displaystyle {\hat {G}}(с,т)}$

${\displaystyle G_{i}(t_{ij},t_{il})=(Y_{ij}-{\hat {\mu }}(t_{ij}))(Y_{il}-{\hat {\mu }}(t_{il})),j\neq l,i=1,\dots ,n.}$

Обратите внимание, что диагональные элементы G _i следует удалить, поскольку они содержат ошибку измерения. ^[4]

На практике дискретизируется до равномерно распределенной плотной сетки, а оценка собственных значений λ _k и собственных векторов v _k выполняется с помощью числовой линейной алгебры. ^[5] Оценки собственных функций затем могут быть получены путем интерполяции собственных векторов${\displaystyle {\hat {G}}(s,t)}$${\displaystyle {\hat {\varphi }}_{k}}$${\displaystyle {\hat {v_{k}}}.}$

Подогнанная ковариация должна быть положительно определенной и симметричной и тогда получается как

${\displaystyle {\tilde {G}}(s,t)=\sum _{\lambda _{k}>0}{\hat {\lambda }}_{k}{\hat {\varphi }}_{k}(s){\hat {\varphi }}_{k}(t).}$

Пусть будет сглаженной версией диагональных элементов G _i ( t _ij , t _ij ) исходных ковариационных матриц. Тогда есть оценка ( G ( t , t ) + σ ² ). Оценка σ ² получается из${\displaystyle {\hat {V}}(t)}$${\displaystyle {\hat {V}}(t)}$

${\displaystyle {\hat {\sigma }}^{2}={\frac {2}{|{\mathcal {T}}|}}\int _{\mathcal {T}}({\hat {V}}(t)-{\tilde {G}}(t,t))dt,}$если иначе${\displaystyle {\hat {\sigma }}^{2}>0;}$${\displaystyle {\hat {\sigma }}^{2}=0.}$

Если наблюдения X _ij , j =1, 2, ..., m _i плотны в 𝒯, то k -й ФФК ξ _k можно оценить с помощью численного интегрирования , реализуя

${\displaystyle {\hat {\xi }}_{k}=\langle X-{\hat {\mu }},{\hat {\varphi }}_{k}\rangle .}$

Однако, если наблюдения редки, этот метод не будет работать. Вместо этого можно использовать лучшие линейные несмещенные предикторы , ^[3] что даст

${\displaystyle {\hat {\xi }}_{k}={\hat {\lambda }}_{k}{\hat {\varphi }}_{k}^{T}{\hat {\Sigma }}_{Y_{i}}^{-1}(Y_{i}-{\hat {\mu }}),}$

где

${\displaystyle {\hat {\Sigma }}_{Y_{i}}={\tilde {G}}+{\hat {\sigma }}^{2}\mathbf {I} _{m_{i}}}$,

и оценивается в точках сетки, сгенерированных t _ij , j = 1, 2, ..., m _i . Алгоритм PACE имеет доступный пакет Matlab ^[6] и пакет R ^[7]${\displaystyle {\tilde {G}}}$

Были исследованы свойства асимптотической сходимости этих оценок. ^{[3] [8] [9]}

FPCA может применяться для отображения режимов функциональной вариации , ^{[1] [10]} в диаграммах рассеяния FPC друг против друга или откликов против FPC, для моделирования разреженных продольных данных , ^[3] или для функциональной регрессии и классификации (например, функциональной линейной регрессии). ^[2] Диаграммы осыпи и другие методы могут использоваться для определения количества включенных компонентов. Функциональный анализ главных компонент имеет различные приложения в анализе временных рядов. В настоящее время этот метод адаптируется из традиционных многомерных методов для анализа наборов финансовых данных, таких как индексы фондового рынка, и создания графиков подразумеваемой волатильности. ^[11] Хорошим примером преимуществ функционального подхода является сглаженный FPCA (SPCA), разработанный Сильверманом [1996] и изученный Пеццулли и Сильверманом [1993], который позволяет напрямую комбинировать FPCA вместе с общим подходом сглаживания, который делает возможным использование информации, хранящейся в некоторых линейных дифференциальных операторах. Важное применение FPCA, уже известное из многомерного PCA, мотивировано разложением Карунена-Лоэва случайной функции на набор функциональных параметров – факторных функций и соответствующих факторных нагрузок (скалярных случайных величин). Это применение гораздо важнее, чем в стандартном многомерном PCA, поскольку распределение случайной функции в общем случае слишком сложно для непосредственного анализа, а разложение Карунена-Лоэва сводит анализ к интерпретации факторных функций и распределения скалярных случайных величин. Благодаря снижению размерности, а также точности представления данных, существуют широкие возможности для дальнейшего развития методов функциональных главных компонент в финансовой сфере.

Применение PCA в автомобильной технике. ^{[12] [13] [14] [15]}

В следующей таблице показано сравнение различных элементов анализа главных компонент (PCA) и FPCA. Оба метода используются для снижения размерности . В реализациях FPCA использует шаг PCA.

Однако PCA и FPCA различаются в некоторых критических аспектах. Во-первых, порядок многомерных данных в PCA может быть переставлен , что не влияет на анализ, но порядок функциональных данных несет информацию о времени или пространстве и не может быть переупорядочен. Во-вторых, интервал между наблюдениями в FPCA имеет значение, тогда как в PCA нет проблемы интервала. В-третьих, обычный PCA не работает для многомерных данных без регуляризации , в то время как FPCA имеет встроенную регуляризацию из-за гладкости функциональных данных и усечения до конечного числа включенных компонентов.

Элемент	В СПС	В FPCA
Данные	${\displaystyle X\in \mathbb {R} ^{p}}$	${\displaystyle X\in L^{2}({\mathcal {T}})}$
Измерение	${\displaystyle p<\infty }$	${\displaystyle \infty }$
Иметь в виду	${\displaystyle \mu ={\text{E}}(X)}$	${\displaystyle \mu (t)={\text{E}}(X(t))}$
Ковариация	${\displaystyle {\text{Cov}}(X)=\Sigma _{p\times p}}$	${\displaystyle {\text{Cov}}(X(s),X(t))=G(s,t)}$
Собственные значения	${\displaystyle \lambda _{1},\lambda _{2},\dots ,\lambda _{p}}$	${\displaystyle \lambda _{1},\lambda _{2},\dots }$
Собственные векторы/собственные функции	${\displaystyle \mathbf {v} _{1},\mathbf {v} _{2},\dots ,\mathbf {v} _{p}}$	${\displaystyle \varphi _{1}(t),\varphi _{2}(t),\dots }$
Внутренний продукт	${\displaystyle \langle \mathbf {X} ,\mathbf {Y} \rangle =\sum _{k=1}^{p}X_{k}Y_{k}}$	${\displaystyle \langle X,Y\rangle =\int _{\mathcal {T}}X(t)Y(t)dt}$
Основные компоненты	${\displaystyle z_{k}=\langle X-\mu ,\mathbf {v_{k}} \rangle ,k=1,2,\dots ,p}$	${\displaystyle \xi _{k}=\langle X-\mu ,\varphi _{k}\rangle ,k=1,2,\dots }$

• Анализ главных компонент

• Джеймс О. Рэмси; Б. В. Сильверман (8 июня 2005 г.). Функциональный анализ данных. Springer. ISBN 978-0-387-40080-8.