Максимум плавности

В математике гладкий максимум индексированного семейства x 1 _, ...,  x _n чисел — это гладкое приближение к максимальной функции, то есть параметрическое семейство функций, такое что для каждого α функция ⁠ ⁠ является гладкой, и семейство сходится к максимальной функции ⁠ ⁠ как ⁠ ⁠ . Понятие гладкого минимума определяется аналогичным образом. Во многих случаях одно семейство аппроксимирует оба: максимум, когда параметр стремится к положительной бесконечности, минимум, когда параметр стремится к отрицательной бесконечности; в символах ⁠ ⁠ как ⁠ ⁠ и ⁠ ⁠ как ⁠ ⁠ . Этот термин также может использоваться в широком смысле для определенной гладкой функции, которая ведет себя подобно максимуму, не обязательно являясь частью параметризованного семейства.${\displaystyle \max(x_{1},\ldots ,x_{n}),}$${\displaystyle m_{\alpha }(x_{1},\ldots ,x_{n})}$${\displaystyle m_{\альфа}}$${\displaystyle m_{\alpha }\to \max }$${\displaystyle \alpha \to \infty }$${\displaystyle m_{\alpha }\to \max }$${\displaystyle \alpha \to \infty }$${\displaystyle m_{\alpha }\to \min }$${\displaystyle \alpha \to -\infty }$

Для больших положительных значений параметра следующая формулировка является плавной, дифференцируемой аппроксимацией функции максимума. Для отрицательных значений параметра, больших по абсолютной величине, она аппроксимирует минимум.${\displaystyle \альфа >0}$

${\displaystyle {\mathcal {S}}_{\alpha }(x_{1},\ldots ,x_{n})={\frac {\sum _{i=1}^{n}x_{i}e^{\alpha x_{i}}}{\sum _{i=1}^{n}e^{\alpha x_{i}}}}}$

${\displaystyle {\mathcal {S}}_{\alpha }}$имеет следующие свойства:

1. ${\displaystyle {\mathcal {S}}_{\alpha }\to \max }$как${\displaystyle \alpha \to \infty }$
2. ${\displaystyle {\mathcal {S}}_{0}}$является средним арифметическим его входов
3. ${\displaystyle {\mathcal {S}}_{\alpha }\to \min }$как${\displaystyle \alpha \to -\infty }$

Градиент тесно связан с softmax и определяется выражением${\displaystyle {\mathcal {S}}_{\alpha }}$

${\displaystyle \nabla _{x_{i}}{\mathcal {S}}_{\alpha }(x_{1},\ldots ,x_{n})={\frac {e^{\alpha x_{i}}}{\sum _{j=1}^{n}e^{\alpha x_{j}}}}[1+\alpha (x_{i}-{\mathcal {S}}_{\alpha }(x_{1},\ldots ,x_{n}))].}$

Это делает функцию softmax полезной для методов оптимизации, использующих градиентный спуск .

Этот оператор иногда называют оператором Больцмана ^[1] по названию распределения Больцмана .

Другой гладкий максимум — LogSumExp :

${\displaystyle \mathrm {LSE} _{\alpha }(x_{1},\ldots ,x_{n})={\frac {1}{\alpha }}\log \sum _{i=1}^{n}\exp \alpha x_{i}}$

Это также можно нормализовать, если все неотрицательны, что даст функцию с областью определения и диапазоном :${\displaystyle x_{i}}$${\displaystyle [0,\infty)^{n}}$${\displaystyle [0,\infty )}$

${\displaystyle g(x_{1},\ldots ,x_{n})=\log \left(\sum _{i=1}^{n}\exp x_{i}-(n-1)\right)}$

Этот термин корректирует тот факт, что путем сокращения всех экспонент, кроме одной нулевой, и если все они равны нулю.${\displaystyle (n-1)}$${\displaystyle \exp(0)=1}$${\displaystyle \log 1=0}$${\displaystyle x_{i}}$

Оператор mellowmax ^[1] определяется следующим образом:

${\displaystyle \mathrm {мм} _{\alpha }(x)={\frac {1}{\alpha }}\log {\frac {1}{n}}\sum _{i=1}^{n}\exp \alpha x_{i}}$

Это нерасширяющий оператор. Как , он действует как максимум. Как , он действует как среднее арифметическое. Как , он действует как минимум. Этот оператор можно рассматривать как частную реализацию квазиарифметического среднего . Его также можно вывести из принципов теории информации как способ регуляризации политик с функцией стоимости, определяемой дивергенцией KL. Оператор ранее использовался в других областях, таких как энергетика. ^[2]${\displaystyle \alpha \to \infty }$${\displaystyle \альфа \до 0}$${\displaystyle \alpha \to -\infty }$

Другим гладким максимумом является p-норма :

${\displaystyle \|(x_{1},\ldots ,x_{n})\|_{p}=\left(\sum _{i=1}^{n}|x_{i}|^{p}\right)^{\frac {1}{p}}}$

который сходится к как .${\displaystyle \|(x_{1},\ldots ,x_{n})\|_{\infty }=\max _{1\leq i\leq n}|x_{i}|}$${\displaystyle p\to \infty }$

Преимущество p-нормы в том, что она является нормой . Как таковая, она масштабно инвариантна ( однородна ): , и удовлетворяет неравенству треугольника .${\displaystyle \|(\lambda x_{1},\ldots ,\lambda x_{n})\|_{p}=|\lambda |\cdot \|(x_{1},\ldots ,x_{n})\|_{p}}$

Следующий бинарный оператор называется Smooth Maximum Unit (SMU): ^[3]

${\displaystyle {\begin{align}\textstyle \max _{\varepsilon}(a,b)&={\frac {a+b+|ab|_{\varepsilon}}{2}}\\&={\frac {a+b+{\sqrt {(ab)^{2}+\varepsilon}}}{2}}\end{align}}}$

где — параметр. Так как , и, таким образом , .${\displaystyle \varepsilon \geq 0}$${\displaystyle \varepsilon \to 0}$${\displaystyle |\cdot |_{\varepsilon }\to |\cdot |}$${\displaystyle \textstyle \max _{\varepsilon }\to \max }$

• LogSumExp
• Функция Softmax
• Обобщенное среднее

https://www.johndcook.com/soft_maximum.pdf

M. Lange, D. Zühlke, O. Holz и T. Villmann, «Применение lp-норм и их гладких аппроксимаций для квантования векторов обучения на основе градиента», в Proc. ESANN , апрель 2014 г., стр. 271–276. (https://www.elen.ucl.ac.be/Proceedings/esann/esannpdf/es2014-153.pdf)