Файл:Подбор прямой линии к данным с выбросами.png

Русский: Для задач регрессии чаще всего используется среднеквадратическая ошибка (MSE).

Однако MSE очень чувствительна к выбросам, и желательно дифференцируемое приближение к средней абсолютной ошибке (MAE). В частности, если обучающие данные для регрессии поступают из распределения с «тяжелым хвостом», наличие множества выбросов приведет к большим ошибкам прогнозирования, если MSE используется во время обучения. MAE взвешивает данные одинаково и устойчива к наличию выбросов, однако ее использование ограничено, поскольку она не дифференцируема в начале координат. Другая проблема с потерями MAE заключается в том, что она имеет большую производную (±1) вблизи начала координат, что приводит к колебаниям около минимума во время градиентного спуска. Функции потерь обучения ANN должны быть дифференцируемыми, поскольку алгоритм Backpopagation требует, чтобы функция потерь была дифференцируемой. Таким образом, дифференцируемые и вычислительно дешевые альтернативы потерям MSE, такие как потери Huber и потери.

Из рисунка видно, что потери SMAE, предложенные в https://arxiv.org/abs/2303.09935, меньше подвержены влиянию выбросов, чем другие функции потерь. Надежность потерь SMAE можно объяснить их близким приближением к идеальным потерям MAE по сравнению с другими функциями потерь.