Дискриминантный анализ ядра Фишера

В статистике , ядерный дискриминантный анализ Фишера (KFD) [ 1], также известный как обобщенный дискриминантный анализ [2] и ядерный дискриминантный анализ [3] , является ядерной версией линейного дискриминантного анализа (LDA). Он назван в честь Рональда Фишера .

Линейный дискриминантный анализ

Интуитивно идея LDA заключается в поиске проекции, где разделение классов максимизировано. При наличии двух наборов помеченных данных и мы можем вычислить среднее значение каждого класса и , как С 1 {\displaystyle \mathbf {C} _{1}} С 2 {\displaystyle \mathbf {C} _{2}} м 1 {\displaystyle \mathbf {м} _{1}} м 2 {\displaystyle \mathbf {м} _{2}}

м я = 1 л я ∑ н = 1 л я х н я , {\displaystyle \mathbf {м} _{i}={\frac {1}{l_{i}}}\sum _{n=1}^{l_{i}}\mathbf {х} _{n}^{i},}

где — число примеров класса . Цель линейного дискриминантного анализа — обеспечить большое разделение средних значений класса, сохраняя при этом небольшую внутриклассовую дисперсию. [4] Это формулируется как максимизация, относительно , ​​следующего отношения: л я {\displaystyle l_{i}} С я {\displaystyle \mathbf {C} _{i}} ж {\displaystyle \mathbf {w} }

Дж. ( ж ) = ж Т С Б ж ж Т С Вт ж , {\displaystyle J(\mathbf {w} )={\frac {\mathbf {w} ^{\text{T}}\mathbf {S} _{B}\mathbf {w} }{\mathbf {w} ^{\text{T}}\mathbf {S} _{W}\mathbf {w} }},}

где — межклассовая ковариационная матрица, а — общая внутриклассовая ковариационная матрица: С Б {\displaystyle \mathbf {S} _{B}} С Вт {\displaystyle \mathbf {S} _{W}}

С Б = ( м 2 − м 1 ) ( м 2 − м 1 ) Т С Вт = ∑ я = 1 , 2 ∑ н = 1 л я ( х н я − м я ) ( х н я − м я ) Т . {\displaystyle {\begin{aligned}\mathbf {S} _{B}&=(\mathbf {m} _{2}-\mathbf {m} _{1})(\mathbf {m} _{2}-\mathbf {m} _{1})^{\text{T}} \\\mathbf {S} _{W} &=\sum _{i=1,2}\sum _{n=1}^{l_{i}}(\mathbf {x} _{n}^{i}-\mathbf {m} _{i})(\mathbf {x} _{n}^{i}-\mathbf {m} _{i})^{\text{T}}.\end{aligned}}}

Максимум указанного выше соотношения достигается при

ж ∝ С Вт − 1 ( м 2 − м 1 ) . {\displaystyle \mathbf {w} \propto \mathbf {S} _{W}^{-1}(\mathbf {m} _{2}-\mathbf {m} _{1}).}

как можно показать с помощью метода множителей Лагранжа (набросок доказательства):

Максимизация эквивалентна максимизации Дж. ( ж ) = ж Т С Б ж ж Т С Вт ж {\displaystyle J(\mathbf {w} )={\frac {\mathbf {w} ^{\text{T}}\mathbf {S} _{B}\mathbf {w} }{\mathbf {w} ^{\text{T}}\mathbf {S} _{W}\mathbf {w} }}}

ж Т С Б ж {\displaystyle \mathbf {w} ^{\text{T}}\mathbf {S} _{B}\mathbf {w} }

при условии

ж Т С Вт ж = 1. {\displaystyle \mathbf {w} ^{\text{T}}\mathbf {S} _{W}\mathbf {w} =1.}

Это, в свою очередь, эквивалентно максимизации , где — множитель Лагранжа. я ( ж , λ ) = ж Т С Б ж − λ ( ж Т С Вт ж − 1 ) {\displaystyle I(\mathbf {w},\lambda)=\mathbf {w} ^{\text{T}} \mathbf {S} _{B} \mathbf {w} -\lambda (\mathbf {w} ^{\text{T}}\mathbf {S} _{W} \mathbf {w} -1)} λ {\displaystyle \лямбда}

Максимально производные по и должны быть равны нулю. Принимая доходность я ( ж , λ ) {\displaystyle I(\mathbf {w},\lambda)} ж {\displaystyle \mathbf {w} } λ {\displaystyle \лямбда} г я г ж = 0 {\displaystyle {\frac {dI}{d\mathbf {w} }}=\mathbf {0} }

С Б ж − λ С Вт ж = 0 , {\displaystyle \mathbf {S} _{B}\mathbf {w} -\lambda \mathbf {S} _{W} \mathbf {w} =\mathbf {0},}

который тривиально удовлетворяется и ж = с С Вт − 1 ( м 2 − м 1 ) {\displaystyle \mathbf {w} =c\mathbf {S} _{W}^{-1}(\mathbf {m} _{2}-\mathbf {m} _{1})} λ = ( m 2 − m 1 ) T S W − 1 ( m 2 − m 1 ) . {\displaystyle \lambda =(\mathbf {m} _{2}-\mathbf {m} _{1})^{\text{T}}\mathbf {S} _{W}^{-1}(\mathbf {m} _{2}-\mathbf {m} _{1}).}

Расширение LDA

Чтобы расширить LDA до нелинейных отображений, данные, заданные в виде точек , можно сопоставить с новым пространством признаков с помощью некоторой функции. В этом новом пространстве признаков функция, которую необходимо максимизировать, равна [1] ℓ {\displaystyle \ell } x i , {\displaystyle \mathbf {x} _{i},} F , {\displaystyle F,} ϕ . {\displaystyle \phi .}

J ( w ) = w T S B ϕ w w T S W ϕ w , {\displaystyle J(\mathbf {w} )={\frac {\mathbf {w} ^{\text{T}}\mathbf {S} _{B}^{\phi }\mathbf {w} }{\mathbf {w} ^{\text{T}}\mathbf {S} _{W}^{\phi }\mathbf {w} }},}

где

S B ϕ = ( m 2 ϕ − m 1 ϕ ) ( m 2 ϕ − m 1 ϕ ) T S W ϕ = ∑ i = 1 , 2 ∑ n = 1 l i ( ϕ ( x n i ) − m i ϕ ) ( ϕ ( x n i ) − m i ϕ ) T , {\displaystyle {\begin{aligned}\mathbf {S} _{B}^{\phi }&=\left(\mathbf {m} _{2}^{\phi }-\mathbf {m} _{1}^{\phi }\right)\left(\mathbf {m} _{2}^{\phi }-\mathbf {m} _{1}^{\phi }\right)^{\text{T}}\\\mathbf {S} _{W}^{\phi }&=\sum _{i=1,2}\sum _{n=1}^{l_{i}}\left(\phi (\mathbf {x} _{n}^{i})-\mathbf {m} _{i}^{\phi }\right)\left(\phi (\mathbf {x} _{n}^{i})-\mathbf {m} _{i}^{\phi }\right)^{\text{T}},\end{aligned}}}

и

m i ϕ = 1 l i ∑ j = 1 l i ϕ ( x j i ) . {\displaystyle \mathbf {m} _{i}^{\phi }={\frac {1}{l_{i}}}\sum _{j=1}^{l_{i}}\phi (\mathbf {x} _{j}^{i}).}

Далее, обратите внимание, что . Явное вычисление отображений и последующее выполнение LDA может быть вычислительно затратным, а во многих случаях и неразрешимым. Например, может быть бесконечномерным. Таким образом, вместо явного отображения данных в , данные могут быть неявно внедрены путем переписывания алгоритма в терминах скалярных произведений и использования функций ядра, в которых скалярное произведение в новом пространстве признаков заменяется функцией ядра, . w ∈ F {\displaystyle \mathbf {w} \in F} ϕ ( x i ) {\displaystyle \phi (\mathbf {x} _{i})} F {\displaystyle F} F {\displaystyle F} k ( x , y ) = ϕ ( x ) ⋅ ϕ ( y ) {\displaystyle k(\mathbf {x} ,\mathbf {y} )=\phi (\mathbf {x} )\cdot \phi (\mathbf {y} )}

LDA можно переформулировать в терминах скалярных произведений, сначала заметив, что будет иметь расширение вида [5] w {\displaystyle \mathbf {w} }

w = ∑ i = 1 l α i ϕ ( x i ) . {\displaystyle \mathbf {w} =\sum _{i=1}^{l}\alpha _{i}\phi (\mathbf {x} _{i}).}

Тогда обратите внимание, что

w T m i ϕ = 1 l i ∑ j = 1 l ∑ k = 1 l i α j k ( x j , x k i ) = α T M i , {\displaystyle \mathbf {w} ^{\text{T}}\mathbf {m} _{i}^{\phi }={\frac {1}{l_{i}}}\sum _{j=1}^{l}\sum _{k=1}^{l_{i}}\alpha _{j}k\left(\mathbf {x} _{j},\mathbf {x} _{k}^{i}\right)=\mathbf {\alpha } ^{\text{T}}\mathbf {M} _{i},}

где

( M i ) j = 1 l i ∑ k = 1 l i k ( x j , x k i ) . {\displaystyle (\mathbf {M} _{i})_{j}={\frac {1}{l_{i}}}\sum _{k=1}^{l_{i}}k(\mathbf {x} _{j},\mathbf {x} _{k}^{i}).}

Тогда числитель можно записать как: J ( w ) {\displaystyle J(\mathbf {w} )}

w T S B ϕ w = w T ( m 2 ϕ − m 1 ϕ ) ( m 2 ϕ − m 1 ϕ ) T w = α T M α , where M = ( M 2 − M 1 ) ( M 2 − M 1 ) T . {\displaystyle \mathbf {w} ^{\text{T}}\mathbf {S} _{B}^{\phi }\mathbf {w} =\mathbf {w} ^{\text{T}}\left(\mathbf {m} _{2}^{\phi }-\mathbf {m} _{1}^{\phi }\right)\left(\mathbf {m} _{2}^{\phi }-\mathbf {m} _{1}^{\phi }\right)^{\text{T}}\mathbf {w} =\mathbf {\alpha } ^{\text{T}}\mathbf {M} \mathbf {\alpha } ,\qquad {\text{where}}\qquad \mathbf {M} =(\mathbf {M} _{2}-\mathbf {M} _{1})(\mathbf {M} _{2}-\mathbf {M} _{1})^{\text{T}}.}

Аналогично знаменатель можно записать как

w T S W ϕ w = α T N α , where N = ∑ j = 1 , 2 K j ( I − 1 l j ) K j T , {\displaystyle \mathbf {w} ^{\text{T}}\mathbf {S} _{W}^{\phi }\mathbf {w} =\mathbf {\alpha } ^{\text{T}}\mathbf {N} \mathbf {\alpha } ,\qquad {\text{where}}\qquad \mathbf {N} =\sum _{j=1,2}\mathbf {K} _{j}(\mathbf {I} -\mathbf {1} _{l_{j}})\mathbf {K} _{j}^{\text{T}},}

с компонентом , определенным как , является единичная матрица, а матрица со всеми элементами равна . Это тождество может быть получено, начиная с выражения для и используя расширение и определения и n th , m th {\displaystyle n^{\text{th}},m^{\text{th}}} K j {\displaystyle \mathbf {K} _{j}} k ( x n , x m j ) , I {\displaystyle k(\mathbf {x} _{n},\mathbf {x} _{m}^{j}),\mathbf {I} } 1 l j {\displaystyle \mathbf {1} _{l_{j}}} 1 / l j {\displaystyle 1/l_{j}} w T S W ϕ w {\displaystyle \mathbf {w} ^{\text{T}}\mathbf {S} _{W}^{\phi }\mathbf {w} } w {\displaystyle \mathbf {w} } S W ϕ {\displaystyle \mathbf {S} _{W}^{\phi }} m i ϕ {\displaystyle \mathbf {m} _{i}^{\phi }}

w T S W ϕ w = ( ∑ i = 1 l α i ϕ T ( x i ) ) ( ∑ j = 1 , 2 ∑ n = 1 l j ( ϕ ( x n j ) − m j ϕ ) ( ϕ ( x n j ) − m j ϕ ) T ) ( ∑ k = 1 l α k ϕ ( x k ) ) = ∑ j = 1 , 2 ∑ i = 1 l ∑ n = 1 l j ∑ k = 1 l ( α i ϕ T ( x i ) ( ϕ ( x n j ) − m j ϕ ) ( ϕ ( x n j ) − m j ϕ ) T α k ϕ ( x k ) ) = ∑ j = 1 , 2 ∑ i = 1 l ∑ n = 1 l j ∑ k = 1 l ( α i k ( x i , x n j ) − 1 l j ∑ p = 1 l j α i k ( x i , x p j ) ) ( α k k ( x k , x n j ) − 1 l j ∑ q = 1 l j α k k ( x k , x q j ) ) = ∑ j = 1 , 2 ( ∑ i = 1 l ∑ n = 1 l j ∑ k = 1 l ( α i α k k ( x i , x n j ) k ( x k , x n j ) − 2 α i α k l j ∑ p = 1 l j k ( x i , x n j ) k ( x k , x p j ) + α i α k l j 2 ∑ p = 1 l j ∑ q = 1 l j k ( x i , x p j ) k ( x k , x q j ) ) ) = ∑ j = 1 , 2 ( ∑ i = 1 l ∑ n = 1 l j ∑ k = 1 l ( α i α k k ( x i , x n j ) k ( x k , x n j ) − α i α k l j ∑ p = 1 l j k ( x i , x n j ) k ( x k , x p j ) ) ) = ∑ j = 1 , 2 α T K j K j T α − α T K j 1 l j K j T α = α T N α . {\displaystyle {\begin{aligned}\mathbf {w} ^{\text{T}}\mathbf {S} _{W}^{\phi }\mathbf {w} &=\left(\sum _{i=1}^{l}\alpha _{i}\phi ^{\text{T}}(\mathbf {x} _{i})\right)\left(\sum _{j=1,2}\sum _{n=1}^{l_{j}}\left(\phi (\mathbf {x} _{n}^{j})-\mathbf {m} _{j}^{\phi }\right)\left(\phi (\mathbf {x} _{n}^{j})-\mathbf {m} _{j}^{\phi }\right)^{\text{T}}\right)\left(\sum _{k=1}^{l}\alpha _{k}\phi (\mathbf {x} _{k})\right)\\&=\sum _{j=1,2}\sum _{i=1}^{l}\sum _{n=1}^{l_{j}}\sum _{k=1}^{l}\left(\alpha _{i}\phi ^{\text{T}}(\mathbf {x} _{i})\left(\phi (\mathbf {x} _{n}^{j})-\mathbf {m} _{j}^{\phi }\right)\left(\phi (\mathbf {x} _{n}^{j})-\mathbf {m} _{j}^{\phi }\right)^{\text{T}}\alpha _{k}\phi (\mathbf {x} _{k})\right)\\&=\sum _{j=1,2}\sum _{i=1}^{l}\sum _{n=1}^{l_{j}}\sum _{k=1}^{l}\left(\alpha _{i}k(\mathbf {x} _{i},\mathbf {x} _{n}^{j})-{\frac {1}{l_{j}}}\sum _{p=1}^{l_{j}}\alpha _{i}k(\mathbf {x} _{i},\mathbf {x} _{p}^{j})\right)\left(\alpha _{k}k(\mathbf {x} _{k},\mathbf {x} _{n}^{j})-{\frac {1}{l_{j}}}\sum _{q=1}^{l_{j}}\alpha _{k}k(\mathbf {x} _{k},\mathbf {x} _{q}^{j})\right)\\&=\sum _{j=1,2}\left(\sum _{i=1}^{l}\sum _{n=1}^{l_{j}}\sum _{k=1}^{l}\left(\alpha _{i}\alpha _{k}k(\mathbf {x} _{i},\mathbf {x} _{n}^{j})k(\mathbf {x} _{k},\mathbf {x} _{n}^{j})-{\frac {2\alpha _{i}\alpha _{k}}{l_{j}}}\sum _{p=1}^{l_{j}}k(\mathbf {x} _{i},\mathbf {x} _{n}^{j})k(\mathbf {x} _{k},\mathbf {x} _{p}^{j})+{\frac {\alpha _{i}\alpha _{k}}{l_{j}^{2}}}\sum _{p=1}^{l_{j}}\sum _{q=1}^{l_{j}}k(\mathbf {x} _{i},\mathbf {x} _{p}^{j})k(\mathbf {x} _{k},\mathbf {x} _{q}^{j})\right)\right)\\&=\sum _{j=1,2}\left(\sum _{i=1}^{l}\sum _{n=1}^{l_{j}}\sum _{k=1}^{l}\left(\alpha _{i}\alpha _{k}k(\mathbf {x} _{i},\mathbf {x} _{n}^{j})k(\mathbf {x} _{k},\mathbf {x} _{n}^{j})-{\frac {\alpha _{i}\alpha _{k}}{l_{j}}}\sum _{p=1}^{l_{j}}k(\mathbf {x} _{i},\mathbf {x} _{n}^{j})k(\mathbf {x} _{k},\mathbf {x} _{p}^{j})\right)\right)\\[6pt]&=\sum _{j=1,2}\mathbf {\alpha } ^{\text{T}}\mathbf {K} _{j}\mathbf {K} _{j}^{\text{T}}\mathbf {\alpha } -\mathbf {\alpha } ^{\text{T}}\mathbf {K} _{j}\mathbf {1} _{l_{j}}\mathbf {K} _{j}^{\text{T}}\mathbf {\alpha } \\[4pt]&=\mathbf {\alpha } ^{\text{T}}\mathbf {N} \mathbf {\alpha } .\end{aligned}}}

С этими уравнениями для числителя и знаменателя уравнение для можно переписать как J ( w ) {\displaystyle J(\mathbf {w} )} J {\displaystyle J}

J ( α ) = α T M α α T N α . {\displaystyle J(\mathbf {\alpha } )={\frac {\mathbf {\alpha } ^{\text{T}}\mathbf {M} \mathbf {\alpha } }{\mathbf {\alpha } ^{\text{T}}\mathbf {N} \mathbf {\alpha } }}.}

Тогда, дифференцируя и приравнивая к нулю, получаем

( α T M α ) N α = ( α T N α ) M α . {\displaystyle (\mathbf {\alpha } ^{\text{T}}\mathbf {M} \mathbf {\alpha } )\mathbf {N} \mathbf {\alpha } =(\mathbf {\alpha } ^{\text{T}}\mathbf {N} \mathbf {\alpha } )\mathbf {M} \mathbf {\alpha } .}

Поскольку имеет значение только направление , а значит и направление , то вышеприведенное уравнение можно решить как w {\displaystyle \mathbf {w} } α , {\displaystyle \mathbf {\alpha } ,} α {\displaystyle \mathbf {\alpha } }

α = N − 1 ( M 2 − M 1 ) . {\displaystyle \mathbf {\alpha } =\mathbf {N} ^{-1}(\mathbf {M} _{2}-\mathbf {M} _{1}).}

Обратите внимание, что на практике обычно является единственным числом, поэтому к нему добавляется кратное тождества [1] N {\displaystyle \mathbf {N} }

N ϵ = N + ϵ I . {\displaystyle \mathbf {N} _{\epsilon }=\mathbf {N} +\epsilon \mathbf {I} .}

Учитывая решение для , проекция новой точки данных определяется выражением [1] α {\displaystyle \mathbf {\alpha } }

y ( x ) = ( w ⋅ ϕ ( x ) ) = ∑ i = 1 l α i k ( x i , x ) . {\displaystyle y(\mathbf {x} )=(\mathbf {w} \cdot \phi (\mathbf {x} ))=\sum _{i=1}^{l}\alpha _{i}k(\mathbf {x} _{i},\mathbf {x} ).}

Мультиклассовый KFD

Расширение на случаи, когда имеется более двух классов, относительно просто. [2] [6] [7] Пусть будет числом классов. Тогда многоклассовый KFD включает проекцию данных в -мерное пространство с использованием дискриминантных функций. c {\displaystyle c} ( c − 1 ) {\displaystyle (c-1)} ( c − 1 ) {\displaystyle (c-1)}

y i = w i T ϕ ( x ) i = 1 , … , c − 1. {\displaystyle y_{i}=\mathbf {w} _{i}^{\text{T}}\phi (\mathbf {x} )\qquad i=1,\ldots ,c-1.}

Это можно записать в матричной записи

y = W T ϕ ( x ) , {\displaystyle \mathbf {y} =\mathbf {W} ^{\text{T}}\phi (\mathbf {x} ),}

где являются столбцами . [6] Кроме того, матрица ковариации между классами теперь имеет вид w i {\displaystyle \mathbf {w} _{i}} W {\displaystyle \mathbf {W} }

S B ϕ = ∑ i = 1 c l i ( m i ϕ − m ϕ ) ( m i ϕ − m ϕ ) T , {\displaystyle \mathbf {S} _{B}^{\phi }=\sum _{i=1}^{c}l_{i}(\mathbf {m} _{i}^{\phi }-\mathbf {m} ^{\phi })(\mathbf {m} _{i}^{\phi }-\mathbf {m} ^{\phi })^{\text{T}},}

где — среднее значение всех данных в новом пространстве признаков. Внутриклассовая ковариационная матрица — это m ϕ {\displaystyle \mathbf {m} ^{\phi }}

S W ϕ = ∑ i = 1 c ∑ n = 1 l i ( ϕ ( x n i ) − m i ϕ ) ( ϕ ( x n i ) − m i ϕ ) T , {\displaystyle \mathbf {S} _{W}^{\phi }=\sum _{i=1}^{c}\sum _{n=1}^{l_{i}}(\phi (\mathbf {x} _{n}^{i})-\mathbf {m} _{i}^{\phi })(\phi (\mathbf {x} _{n}^{i})-\mathbf {m} _{i}^{\phi })^{\text{T}},}

Решение теперь получается путем максимизации

J ( W ) = | W T S B ϕ W | | W T S W ϕ W | . {\displaystyle J(\mathbf {W} )={\frac {\left|\mathbf {W} ^{\text{T}}\mathbf {S} _{B}^{\phi }\mathbf {W} \right|}{\left|\mathbf {W} ^{\text{T}}\mathbf {S} _{W}^{\phi }\mathbf {W} \right|}}.}

Снова можно использовать трюк с ядром, и цель многоклассового KFD становится [7]

A ∗ = argmax A = | A T M A | | A T N A | , {\displaystyle \mathbf {A} ^{*}={\underset {\mathbf {A} }{\operatorname {argmax} }}={\frac {\left|\mathbf {A} ^{\text{T}}\mathbf {M} \mathbf {A} \right|}{\left|\mathbf {A} ^{\text{T}}\mathbf {N} \mathbf {A} \right|}},}

где и A = [ α 1 , … , α c − 1 ] {\displaystyle A=[\mathbf {\alpha } _{1},\ldots ,\mathbf {\alpha } _{c-1}]}

M = ∑ j = 1 c l j ( M j − M ∗ ) ( M j − M ∗ ) T N = ∑ j = 1 c K j ( I − 1 l j ) K j T . {\displaystyle {\begin{aligned}M&=\sum _{j=1}^{c}l_{j}(\mathbf {M} _{j}-\mathbf {M} _{*})(\mathbf {M} _{j}-\mathbf {M} _{*})^{\text{T}}\\N&=\sum _{j=1}^{c}\mathbf {K} _{j}(\mathbf {I} -\mathbf {1} _{l_{j}})\mathbf {K} _{j}^{\text{T}}.\end{aligned}}}

Они определены так же, как в предыдущем разделе, и определяются как M i {\displaystyle \mathbf {M} _{i}} M ∗ {\displaystyle \mathbf {M} _{*}}

( M ∗ ) j = 1 l ∑ k = 1 l k ( x j , x k ) . {\displaystyle (\mathbf {M} _{*})_{j}={\frac {1}{l}}\sum _{k=1}^{l}k(\mathbf {x} _{j},\mathbf {x} _{k}).}

A ∗ {\displaystyle \mathbf {A} ^{*}} Затем можно вычислить, найдя ведущие собственные векторы . [7] Кроме того, проекция нового входа, , задается формулой [7] ( c − 1 ) {\displaystyle (c-1)} N − 1 M {\displaystyle \mathbf {N} ^{-1}\mathbf {M} } x t {\displaystyle \mathbf {x} _{t}}

y ( x t ) = ( A ∗ ) T K t , {\displaystyle \mathbf {y} (\mathbf {x} _{t})=\left(\mathbf {A} ^{*}\right)^{\text{T}}\mathbf {K} _{t},}

где компонент задается выражением . i t h {\displaystyle i^{th}} K t {\displaystyle \mathbf {K} _{t}} k ( x i , x t ) {\displaystyle k(\mathbf {x} _{i},\mathbf {x} _{t})}

Классификация с использованием KFD

Как в двухклассовом, так и в многоклассовом KFD метка класса нового входа может быть назначена как [7]

f ( x ) = a r g min j D ( y ( x ) , y ¯ j ) , {\displaystyle f(\mathbf {x} )=arg\min _{j}D(\mathbf {y} (\mathbf {x} ),{\bar {\mathbf {y} }}_{j}),}

где — прогнозируемое среднее значение для класса , а — функция расстояния. y ¯ j {\displaystyle {\bar {\mathbf {y} }}_{j}} j {\displaystyle j} D ( ⋅ , ⋅ ) {\displaystyle D(\cdot ,\cdot )}

Приложения

Анализ ядра дискриминанта использовался в различных приложениях. К ним относятся:

  • Распознавание лиц [3] [8] [9] и обнаружение [10] [11]
  • Распознавание рукописных цифр [1] [12]
  • Распознавание отпечатков пальцев [13]
  • Классификация злокачественных и доброкачественных кластерных микрокальцификатов [14]
  • Классификация семян [2]
  • Поиск бозона Хиггса в ЦЕРНе [15]

Смотрите также

Ссылки

  1. ^ abcde Мика, С.; Рэтш, Г.; Уэстон, Дж.; Шёлькопф, Б.; Мюллер, К. Р. (1999). "Дискриминантный анализ Фишера с ядрами". Нейронные сети для обработки сигналов IX: Труды семинара IEEE Signal Processing Society 1999 года (Кат. № 98TH8468) . Том IX. С.  41–48 . CiteSeerX  10.1.1.35.9904 . doi :10.1109/NNSP.1999.788121. ISBN 978-0-7803-5673-3. S2CID  8473401.
  2. ^ abc Baudat, G.; Anouar, F. (2000). «Обобщенный дискриминантный анализ с использованием подхода ядра». Neural Computation . 12 (10): 2385– 2404. CiteSeerX 10.1.1.412.760 . doi :10.1162/089976600300014980. PMID  11032039. S2CID  7036341. 
  3. ^ ab Li, Y.; Gong, S.; Liddell, H. (2003). «Распознавание траекторий лицевых идентичностей с использованием дискриминантного анализа ядра». Image and Vision Computing . 21 ( 13– 14): 1077– 1086. CiteSeerX 10.1.1.2.6315 . doi :10.1016/j.imavis.2003.08.010. 
  4. ^ Бишоп, CM (2006). Распознавание образов и машинное обучение . Нью-Йорк, Нью-Йорк: Springer.
  5. ^ Scholkopf, B; Herbrich, R.; Smola, A. (2001). "A Generalized Representer Theorem". Computational Learning Theory . Lecture Notes in Computer Science. Vol. 2111. pp.  416– 426. CiteSeerX 10.1.1.42.8617 . doi :10.1007/3-540-44581-1_27. ISBN  978-3-540-42343-0.
  6. ^ ab Дуда, Р.; Харт, П.; Сторк, Д. (2001). Классификация узоров . Нью-Йорк, Нью-Йорк: Wiley.
  7. ^ abcde Чжан, Дж.; Ма, К.К. (2004). «Дискриминант ядра Фишера для классификации текстур». {{cite journal}}: Цитировать журнал требует |journal=( помощь )
  8. ^ Лю, Ц.; Лу, Х.; Ма, С. (2004). «Улучшение дискриминантного анализа ядра Фишера для распознавания лиц». Труды IEEE по схемам и системам для видеотехнологий . 14 (1): 42– 49. doi :10.1109/tcsvt.2003.818352. S2CID  39657721.
  9. ^ Лю, Ц.; Хуан, Р.; Лу, Х.; Ма, С. (2002). «Распознавание лиц с использованием дискриминантного анализа Фишера на основе ядра». Международная конференция IEEE по автоматическому распознаванию лиц и жестов .
  10. ^ Курита, Т.; Тагучи, Т. (2002). «Модификация дискриминантного анализа Фишера на основе ядра для обнаружения лиц». Труды Пятой международной конференции IEEE по автоматическому распознаванию жестов лица . С.  300–305 . CiteSeerX 10.1.1.100.3568 . doi :10.1109/AFGR.2002.1004170. ISBN  978-0-7695-1602-8. S2CID  7581426.
  11. ^ Фэн, И.; Ши, П. (2004). «Распознавание лиц на основе дискриминантного анализа ядра Фишера». Международная конференция IEEE по автоматическому распознаванию лиц и жестов .
  12. ^ Yang, J.; Frangi, AF; Yang, JY; Zang, D., Jin, Z. (2005). «KPCA плюс LDA: полная структура ядра дискриминанта Фишера для извлечения и распознавания признаков». IEEE Transactions on Pattern Analysis and Machine Intelligence . 27 (2): 230– 244. CiteSeerX 10.1.1.330.1179 . doi :10.1109/tpami.2005.33. PMID  15688560. S2CID  9771368. {{cite journal}}: CS1 maint: multiple names: authors list (link)
  13. ^ Ван, И.; Руан, К. (2006). «Дискриминантный анализ ядра Фишера для распознавания отпечатков ладоней». Международная конференция по распознаванию образов .
  14. ^ Вэй, Л.; Ян, И.; Нишикава, Р. М.; Цзян, И. (2005). «Исследование нескольких методов машинного обучения для классификации злокачественных и доброкачественных кластерных микрокальцификаций». IEEE Transactions on Medical Imaging . 24 (3): 371– 380. doi :10.1109/tmi.2004.842457. PMID  15754987. S2CID  36691320.
  15. ^ Malmgren, T. (1997). "Программа итерационного нелинейного дискриминантного анализа: IDA 1.0". Computer Physics Communications . 106 (3): 230– 236. Bibcode : 1997CoPhC.106..230M. doi : 10.1016/S0010-4655(97)00100-8.
  • Дискриминантный анализ ядра в C# — код C# для выполнения KFD.
  • Matlab Toolbox для снижения размерности — включает метод выполнения KFD.
  • Распознавание рукописного ввода с использованием дискриминантного анализа ядра — код C#, демонстрирующий распознавание рукописных цифр с использованием KFD.
Retrieved from "https://en.wikipedia.org/w/index.php?title=Kernel_Fisher_discriminant_analysis&oldid=1255105661"