Гипербазисная функциональная сеть

В машинном обучении сеть гипербазисных функций , или сеть HyperBF , является обобщением концепции сетей радиальных базисных функций (RBF) , где вместо меры евклидового расстояния используется расстояние Махаланобиса . Сети гипербазисных функций были впервые представлены Поджио и Джирози в статье 1990 года «Сети для аппроксимации и обучения». ^{[1] [2]}

Типичная структура сети HyperBF состоит из действительного входного вектора , скрытого слоя функций активации и линейного выходного слоя. Выход сети является скалярной функцией входного вектора, , задается как ${\displaystyle x\in \mathbb {R} ^{n}}$${\displaystyle \phi :\mathbb {R} ^{n}\to \mathbb {R} }$

${\displaystyle \phi (x)=\sum _{j=1}^{N}a_{j} \rho _{j} (||x-\mu _{j}||)}$

где — число нейронов в скрытом слое, а — центр и вес нейрона . Функция активации в сети HyperBF принимает следующий вид${\displaystyle N}$${\displaystyle \mu _{j}}$${\displaystyle a_{j}}$${\displaystyle j}$ ${\displaystyle \rho _{j}(||x-\mu _{j}||)}$

${\displaystyle \rho _{j}(||x-\mu _{j}||)=e^{(x-\mu _{j})^{T}R_{j}(x-\mu _{j})}}$

где — положительно определенная матрица. В зависимости от приложения обычно рассматриваются следующие типы матриц ^[3]${\displaystyle R_{j}}$${\displaystyle d\times d}$${\displaystyle R_{j}}$

• ${\displaystyle R_{j}={\frac {1}{2\sigma ^{2}}}\mathbb {I} _{d\times d}}$, где . Этот случай соответствует обычной сети RBF.${\displaystyle \сигма >0}$
• ${\displaystyle R_{j}={\frac {1}{2\sigma _{j}^{2}}}\mathbb {I} _{d\times d}}$, где . В этом случае базисные функции радиально симметричны, но масштабируются с разной шириной.${\displaystyle \сигма _{j}>0}$
• ${\displaystyle R_{j}=diag\left({\frac {1}{2\sigma _{j1}^{2}}},...,{\frac {1}{2\sigma _{jz}^{2}}}\right)\mathbb {I} _{d\times d}}$, где . Каждый нейрон имеет эллиптическую форму с переменным размером.${\displaystyle \sigma _{ji}>0}$
• Положительно определенная матрица, но не диагональная.

Обучение сетей HyperBF включает оценку весов , формы и центров нейронов и . Poggio и Girosi (1990) описывают метод обучения с подвижными центрами и адаптируемыми формами нейронов. Краткое описание метода приведено ниже.${\displaystyle a_{j}}$${\displaystyle R_{j}}$${\displaystyle \mu _{j}}$

Рассмотрим квадратичную потерю сети . При оптимуме должны быть выполнены следующие условия:${\displaystyle H[\phi ^{*}]=\sum _{i=1}^{N}(y_{i}-\phi ^{*}(x_{i}))^{2}}$

${\displaystyle {\frac {\partial H(\phi ^{*})}{\partial a_{j}}}=0}$, ,${\displaystyle {\frac {\partial H(\phi ^{*})}{\partial \mu _{j}}}=0}$${\displaystyle {\frac {\partial H(\phi ^{*})}{\partial W}}=0}$

где . Тогда в методе градиентного спуска минимизирующие значения могут быть найдены как устойчивая неподвижная точка следующей динамической системы:${\displaystyle R_{j}=W^{T}W}$${\displaystyle a_{j},\mu _{j},W}$${\displaystyle H[\phi ^{*}]}$

${\displaystyle {\dot {a_{j}}}=-\omega {\frac {\partial H(\phi ^{*})}{\partial a_{j}}}}$, ,${\displaystyle {\dot {\mu _{j}}}=-\omega {\frac {\partial H(\phi ^{*})}{\partial \mu _{j}}}}$${\displaystyle {\dot {W}}=-\omega {\frac {\partial H(\phi ^{*})}{\partial W}}}$

где определяет скорость сходимости.${\displaystyle \омега}$

В целом, обучение сетей HyperBF может быть вычислительно сложным. Более того, высокая степень свободы HyperBF приводит к переобучению и плохому обобщению. Однако сети HyperBF имеют важное преимущество, заключающееся в том, что для обучения сложных функций достаточно небольшого количества нейронов. ^[2]