Обратное распространение

В машинном обучении обратное распространение ^[1] — это метод оценки градиента , обычно используемый для обучения нейронной сети с целью вычисления обновлений ее параметров.

Это эффективное применение цепного правила к нейронным сетям. Обратное распространение вычисляет градиент функции потерь относительно весов сети для одного примера вход-выход, и делает это эффективно , вычисляя градиент по одному слою за раз, итерируя в обратном порядке от последнего слоя, чтобы избежать избыточных вычислений промежуточных членов в цепном правиле; это может быть получено с помощью динамического программирования . ^{[2] [3] [4]}

Строго говоря, термин обратное распространение относится только к алгоритму эффективного вычисления градиента, а не к тому, как градиент используется; но этот термин часто используется в широком смысле для обозначения всего алгоритма обучения — включая то, как используется градиент, например, с помощью стохастического градиентного спуска , или как промежуточный шаг в более сложном оптимизаторе, таком как адаптивная оценка момента . ^[5] Локальная минимальная сходимость, взрывной градиент, исчезающий градиент и слабый контроль скорости обучения являются основными недостатками этих алгоритмов оптимизации. Оптимизаторы Гессе и квази-Гессиана решают только задачу локальной минимальной сходимости, а обратное распространение работает дольше. Эти проблемы заставили исследователей разработать гибридные ^[6] и дробные ^[7] алгоритмы оптимизации.

Обратное распространение имело несколько открытий и частичных открытий, с запутанной историей и терминологией. Подробности см. в разделе истории. Некоторые другие названия техники включают «обратный режим автоматического дифференцирования » или « обратное накопление ». ^[8]

Обратное распространение вычисляет градиент в весовом пространстве нейронной сети прямого распространения относительно функции потерь . Обозначим:

• ${\displaystyle x}$: вход (вектор признаков)
• ${\displaystyle y}$: целевой выход

  Для классификации выходными данными будет вектор вероятностей классов (например, , а целевыми данными будет конкретный класс, закодированный с помощью унитарной / фиктивной переменной (например, ).${\displaystyle (0.1,0.7,0.2)}$${\displaystyle (0,1,0)}$

• ${\displaystyle C}$: функция потерь или «функция стоимости» ^[a]

  Для классификации это обычно кросс-энтропия (XC, log loss ), тогда как для регрессии это обычно квадратичная ошибка потерь (SEL).

• ${\displaystyle L}$: количество слоев
• ${\displaystyle W^{l}=(w_{jk}^{l})}$: веса между слоем и , где - вес между -ым узлом в слое и -ым узлом в слое ^[b]${\displaystyle l-1}$${\displaystyle l}$${\displaystyle w_{jk}^{l}}$${\displaystyle k}$${\displaystyle l-1}$${\displaystyle j}$${\displaystyle l}$
• ${\displaystyle f^{l}}$: функции активации на уровне${\displaystyle l}$

  Для классификации последним слоем обычно является логистическая функция для бинарной классификации и softmax (softargmax) для многоклассовой классификации, в то время как для скрытых слоев это традиционно была сигмоидальная функция (логистическая функция или другие) для каждого узла (координаты), но сегодня она более разнообразна, и распространенным является выпрямитель ( ramp , ReLU ).

• ${\displaystyle a_{j}^{l}}$: активация -го узла в слое .${\displaystyle j}$${\displaystyle l}$

При выводе обратного распространения другие промежуточные величины используются путем их введения по мере необходимости ниже. Члены смещения не рассматриваются специально, поскольку они соответствуют весу с фиксированным входом 1. Для обратного распространения конкретная функция потерь и функции активации не имеют значения, пока они и их производные могут быть оценены эффективно. Традиционные функции активации включают сигмоиду, tanh и ReLU . С тех пор были предложены также Swish , ^[9] mish , ^{[10] и другие функции активации.}

Общая сеть представляет собой комбинацию композиции функций и умножения матриц :

${\displaystyle g(x):=f^{L}(W^{L}f^{L-1}(W^{L-1}\cdots f^{1}(W^{1}x)\cdots ))}$

Для обучающего набора будет набор пар вход-выход, . Для каждой пары вход-выход в обучающем наборе потеря модели на этой паре равна стоимости разницы между прогнозируемым выходом и целевым выходом :${\displaystyle \left\{(x_{i},y_{i})\right\}}$${\displaystyle (x_{i},y_{i})}$${\displaystyle g(x_{i})}$${\displaystyle y_{i}}$

${\displaystyle C(y_{i},g(x_{i}))}$

Обратите внимание на различие: во время оценки модели веса фиксированы, в то время как входы меняются (и целевой выход может быть неизвестен), и сеть заканчивается выходным слоем (он не включает функцию потерь). Во время обучения модели пара вход-выход фиксирована, в то время как веса меняются, и сеть заканчивается функцией потерь.

Обратное распространение вычисляет градиент для фиксированной пары вход-выход , где веса могут меняться. Каждый отдельный компонент градиента может быть вычислен по правилу цепочки; но делать это отдельно для каждого веса неэффективно. Обратное распространение эффективно вычисляет градиент, избегая дублирующих вычислений и не вычисляя ненужные промежуточные значения, вычисляя градиент каждого слоя — в частности, градиент взвешенного входа каждого слоя, обозначенного как — сзади вперед.${\displaystyle (x_{i},y_{i})}$${\displaystyle w_{jk}^{l}}$${\displaystyle \partial C/\partial w_{jk}^{l},}$${\displaystyle \delta ^{l}}$

Неформально, ключевым моментом является то, что поскольку единственный способ, которым вес в влияет на потерю, — это его влияние на следующий слой, и он делает это линейно , — это единственные данные, которые вам нужны для вычисления градиентов весов на слое , а затем градиенты весов предыдущего слоя могут быть вычислены и повторены рекурсивно. Это позволяет избежать неэффективности двумя способами. Во-первых, это позволяет избежать дублирования, поскольку при вычислении градиента на слое нет необходимости пересчитывать все производные на последующих слоях каждый раз. Во-вторых, это позволяет избежать ненужных промежуточных вычислений, поскольку на каждом этапе он напрямую вычисляет градиент весов относительно конечного выхода (потери), а не ненужно вычисляет производные значений скрытых слоев относительно изменений в весах .${\displaystyle W^{l}}$${\displaystyle \delta ^{l}}$${\displaystyle l}$${\displaystyle \delta ^{l-1}}$${\displaystyle l}$${\displaystyle l+1,l+2,\ldots }$${\displaystyle \partial a_{j'}^{l'}/\partial w_{jk}^{l}}$

Обратное распространение может быть выражено для простых сетей прямого распространения в терминах умножения матриц или, в более общем смысле, в терминах сопряженного графа.

Для базового случая сети прямого распространения, где узлы в каждом слое соединены только с узлами в непосредственно следующем слое (без пропуска каких-либо слоев), и есть функция потерь, которая вычисляет скалярные потери для конечного выхода, обратное распространение можно понять просто с помощью умножения матриц. ^[c] По сути, обратное распространение оценивает выражение для производной функции стоимости как произведение производных между каждым слоем справа налево – «назад» – с градиентом весов между каждым слоем, являющимся простой модификацией частичных произведений («ошибка обратного распространения»).

Для пары вход-выход потери составляют:${\displaystyle (x,y)}$

${\displaystyle C(y,f^{L}(W^{L}f^{L-1}(W^{L-1}\cdots f^{2}(W^{2}f^{1}(W^{1}x))\cdots )))}$

Чтобы вычислить это, нужно начать с ввода и работать вперед; обозначим взвешенный ввод каждого скрытого слоя как , а выход скрытого слоя как активацию . Для обратного распространения активация, а также производные (оцененные в ) должны быть кэшированы для использования во время обратного прохода.${\displaystyle x}$${\displaystyle z^{l}}$${\displaystyle l}$${\displaystyle a^{l}}$${\displaystyle a^{l}}$${\displaystyle (f^{l})'}$${\displaystyle z^{l}}$

Производная потерь по входным данным определяется цепным правилом; обратите внимание, что каждый член представляет собой полную производную , оцененную по значению сети (в каждом узле) на входе :${\displaystyle x}$

${\displaystyle {\frac {dC}{da^{L}}}\cdot {\frac {da^{L}}{dz^{L}}}\cdot {\frac {dz^{L}}{da^{L-1}}}\cdot {\frac {da^{L-1}}{dz^{L-1}}}\cdot {\frac {dz^{L-1}}{da^{L-2}}}\cdot \ldots \cdot {\frac {da^{1}}{dz^{1}}}\cdot {\frac {\partial z^{1}}{\partial x}},}$

где — диагональная матрица.${\displaystyle {\frac {da^{L}}{dz^{L}}}}$

Этими терминами являются: производная функции потерь; ^[d] производные функций активации; ^[e] и матрицы весов: ^[f]

${\displaystyle {\frac {dC}{da^{L}}}\circ (f^{L})'\cdot W^{L}\circ (f^{L-1})'\cdot W^{L-1}\circ \cdots \circ (f^{1})'\cdot W^{1}.}$

Градиент представляет собой транспонированную производную выходного сигнала относительно входного сигнала, поэтому матрицы транспонируются, а порядок умножения меняется на обратный, но записи остаются теми же:${\displaystyle \nabla }$

${\displaystyle \nabla _{x}C=(W^{1})^{T}\cdot (f^{1})'\circ \ldots \circ (W^{L-1})^{T}\cdot (f^{L-1})'\circ (W^{L})^{T}\cdot (f^{L})'\circ \nabla _{a^{L}}C.}$

Обратное распространение в таком случае по сути состоит из оценки этого выражения справа налево (что эквивалентно умножению предыдущего выражения на производную слева направо) и вычисления градиента на каждом слое по пути; есть дополнительный шаг, поскольку градиент весов — это не просто подвыражение: есть дополнительное умножение.

Вводим вспомогательную величину для частичных произведений (умножение справа налево), интерпретируемую как «ошибка на уровне » и определяемую как градиент входных значений на уровне :${\displaystyle \delta ^{l}}$${\displaystyle l}$${\displaystyle l}$

${\displaystyle \delta ^{l}:=(f^{l})'\circ (W^{l+1})^{T}\cdot (f^{l+1})'\circ \cdots \circ (W^{L-1})^{T}\cdot (f^{L-1})'\circ (W^{L})^{T}\cdot (f^{L})'\circ \nabla _{a^{L}}C.}$

Обратите внимание, что — это вектор, длина которого равна количеству узлов на уровне ; каждый компонент интерпретируется как «стоимость, приписываемая (значению) этого узла».${\displaystyle \delta ^{l}}$${\displaystyle l}$

Тогда градиент весов в слое равен:${\displaystyle l}$

${\displaystyle \nabla _{W^{l}}C=\delta ^{l}(a^{l-1})^{T}.}$

Фактор заключается в том, что веса между уровнем и уровнем воздействия пропорциональны входам (активациям): входы фиксированы, веса изменяются.${\displaystyle a^{l-1}}$${\displaystyle W^{l}}$${\displaystyle l-1}$${\displaystyle l}$${\displaystyle l}$

Их можно легко вычислить рекурсивно, двигаясь справа налево, как:${\displaystyle \delta ^{l}}$

${\displaystyle \delta ^{l-1}:=(f^{l-1})'\circ (W^{l})^{T}\cdot \delta ^{l}.}$

Таким образом, градиенты весов можно вычислить с помощью нескольких умножений матриц для каждого уровня; это обратное распространение.

По сравнению с наивным вычислением вперед (с использованием примера for):${\displaystyle \delta ^{l}}$

${\displaystyle {\begin{aligned}\delta ^{1}&=(f^{1})'\circ (W^{2})^{T}\cdot (f^{2})'\circ \cdots \circ (W^{L-1})^{T}\cdot (f^{L-1})'\circ (W^{L})^{T}\cdot (f^{L})'\circ \nabla _{a^{L}}C\\\delta ^{2}&=(f^{2})'\circ \cdots \circ (W^{L-1})^{T}\cdot (f^{L-1})'\circ (W^{L})^{T}\cdot (f^{L})'\circ \nabla _{a^{L}}C\\&\vdots \\\delta ^{L-1}&=(f^{L-1})'\circ (W^{L})^{T}\cdot (f^{L})'\circ \nabla _{a^{L}}C\\\delta ^{L}&=(f^{L})'\circ \nabla _{a^{L}}C,\end{aligned}}}$

Есть два ключевых отличия от обратного распространения:

1. Вычисления с точки зрения избегают очевидного дублирования умножения слоев и т. д.${\displaystyle \delta ^{l-1}}$${\displaystyle \delta ^{l}}$${\displaystyle l}$
2. Умножение, начиная с – распространение ошибки назад – означает, что каждый шаг просто умножает вектор ( ) на матрицы весов и производных активаций . Напротив, умножение вперед, начиная с изменений на более раннем слое, означает, что каждое умножение умножает матрицу на матрицу . Это намного дороже и соответствует отслеживанию каждого возможного пути изменения в одном слое вперед к изменениям в слое (для умножения на , с дополнительными умножениями для производных активаций), что без необходимости вычисляет промежуточные величины того, как изменения веса влияют на значения скрытых узлов.${\displaystyle \nabla _{a^{L}}C}$${\displaystyle \delta ^{l}}$${\displaystyle (W^{l})^{T}}$${\displaystyle (f^{l-1})'}$${\displaystyle l}$${\displaystyle l+2}$${\displaystyle W^{l+1}}$${\displaystyle W^{l+2}}$

This section needs expansion. You can help by adding to it. (November 2019)

Для более общих графов и других сложных вариаций обратное распространение можно понимать в терминах автоматического дифференцирования , где обратное распространение является частным случаем обратного накопления (или «обратного режима»). ^[8]

Целью любого контролируемого алгоритма обучения является поиск функции, которая наилучшим образом отображает набор входов в их правильный выход. Мотивацией обратного распространения является обучение многослойной нейронной сети таким образом, чтобы она могла изучать соответствующие внутренние представления, позволяющие ей изучать любое произвольное отображение входов в выходы. ^[11]

Чтобы понять математический вывод алгоритма обратного распространения, полезно сначала развить некоторую интуицию о связи между фактическим выходом нейрона и правильным выходом для конкретного примера обучения. Рассмотрим простую нейронную сеть с двумя входными блоками, одним выходным блоком и без скрытых блоков, и в которой каждый нейрон использует линейный выход (в отличие от большинства работ по нейронным сетям, в которых отображение входов на выходы является нелинейным) ^[g], который является взвешенной суммой его входных данных.

Первоначально, до обучения, веса будут установлены случайным образом. Затем нейрон учится на обучающих примерах , которые в этом случае состоят из набора кортежей , где и являются входами для сети, а t является правильным выходом (выходом, который сеть должна выдать с учетом этих входов, когда она обучена). Исходная сеть, заданная и , вычислит выход y , который, вероятно, отличается от t (при заданных случайных весах). Функция потерь используется для измерения расхождения между целевым выходом t и вычисленным выходом y . Для задач регрессионного анализа квадрат ошибки может использоваться в качестве функции потерь, для классификации может использоваться категориальная перекрестная энтропия .${\displaystyle (x_{1},x_{2},t)}$${\displaystyle x_{1}}$${\displaystyle x_{2}}$${\displaystyle x_{1}}$${\displaystyle x_{2}}$ ${\displaystyle L(t,y)}$

В качестве примера рассмотрим задачу регрессии, в которой в качестве потерь используется квадратичная ошибка:

${\displaystyle L(t,y)=(t-y)^{2}=E,}$

где E — расхождение или ошибка.

Рассмотрим сеть на одном обучающем случае: . Таким образом, входные данные и равны 1 и 1 соответственно, а правильный выходной сигнал t равен 0. Теперь, если построить зависимость между выходным сигналом сети y на горизонтальной оси и ошибкой E на вертикальной оси, то результатом будет парабола. Минимум параболы соответствует выходному сигналу y , который минимизирует ошибку E. Для одного обучающего случая минимум также касается горизонтальной оси, что означает, что ошибка будет равна нулю, и сеть может выдать выходной сигнал y , который точно соответствует целевому выходному сигналу t . Следовательно, проблема сопоставления входных данных и выходных данных может быть сведена к задаче оптимизации нахождения функции, которая выдаст минимальную ошибку.${\displaystyle (1,1,0)}$${\displaystyle x_{1}}$${\displaystyle x_{2}}$

Однако выход нейрона зависит от взвешенной суммы всех его входов:

${\displaystyle y=x_{1}w_{1}+x_{2}w_{2},}$

где и — веса на соединении от входных единиц к выходному блоку. Таким образом, ошибка также зависит от входящих весов нейрона, что в конечном итоге и необходимо изменить в сети для обеспечения обучения.${\displaystyle w_{1}}$${\displaystyle w_{2}}$

В этом примере после введения обучающих данных функция потерь становится${\displaystyle (1,1,0)}$

${\displaystyle E=(t-y)^{2}=y^{2}=(x_{1}w_{1}+x_{2}w_{2})^{2}=(w_{1}+w_{2})^{2}.}$

Тогда функция потерь принимает форму параболического цилиндра с основанием, направленным вдоль . Поскольку все наборы весов, удовлетворяющие , минимизируют функцию потерь, в этом случае для сходимости к уникальному решению требуются дополнительные ограничения. Дополнительные ограничения могут быть созданы либо путем задания определенных условий для весов, либо путем введения дополнительных обучающих данных.${\displaystyle E}$${\displaystyle w_{1}=-w_{2}}$${\displaystyle w_{1}=-w_{2}}$

Одним из часто используемых алгоритмов для поиска набора весов, минимизирующих ошибку, является градиентный спуск . С помощью обратного распространения вычисляется направление самого крутого спуска функции потерь в зависимости от текущих синаптических весов. Затем веса можно модифицировать вдоль направления самого крутого спуска, и ошибка минимизируется эффективным способом.

Метод градиентного спуска включает вычисление производной функции потерь по весу сети. Обычно это делается с помощью обратного распространения. Предполагая один выходной нейрон, ^[h] квадратичная функция ошибки равна

${\displaystyle E=L(t,y)}$

где

${\displaystyle L}$это потеря для выходного и целевого значения ,${\displaystyle y}$${\displaystyle t}$

${\displaystyle t}$является целевым выходом для обучающей выборки, и

${\displaystyle y}$— это фактический выход выходного нейрона.

Для каждого нейрона его выход определяется как${\displaystyle j}$${\displaystyle o_{j}}$

${\displaystyle o_{j}=\varphi ({\text{net}}_{j})=\varphi \left(\sum _{k=1}^{n}w_{kj}x_{k}\right),}$

где функция активации нелинейна и дифференцируема по области активации (ReLU не дифференцируема в одной точке). Исторически используемая функция активации — это логистическая функция :${\displaystyle \varphi }$

${\displaystyle \varphi (z)={\frac {1}{1+e^{-z}}}}$

которая имеет удобную производную от:

${\displaystyle {\frac {d\varphi }{dz}}=\varphi (z)(1-\varphi (z))}$

Вход нейрона — это взвешенная сумма выходов предыдущих нейронов. Если нейрон находится в первом слое после входного слоя, то входного слоя — это просто входы сети. Количество входных единиц нейрона равно . Переменная обозначает вес между нейроном предыдущего слоя и нейроном текущего слоя.${\displaystyle {\text{net}}_{j}}$${\displaystyle o_{k}}$${\displaystyle o_{k}}$${\displaystyle x_{k}}$${\displaystyle n}$${\displaystyle w_{kj}}$${\displaystyle k}$${\displaystyle j}$

Вычисление частной производной ошибки по весу выполняется с использованием цепного правила дважды:${\displaystyle w_{ij}}$

${\displaystyle {\frac {\partial E}{\partial w_{ij}}}={\frac {\partial E}{\partial o_{j}}}{\frac {\partial o_{j}}{\partial w_{ij}}}={\frac {\partial E}{\partial o_{j}}}{\frac {\partial o_{j}}{\partial {\text{net}}_{j}}}{\frac {\partial {\text{net}}_{j}}{\partial w_{ij}}}}$

Ур. 1

В последнем множителе правой части вышеприведенного выражения только один член суммы зависит от , так что${\displaystyle {\text{net}}_{j}}$${\displaystyle w_{ij}}$

${\displaystyle {\frac {\partial {\text{net}}_{j}}{\partial w_{ij}}}={\frac {\partial }{\partial w_{ij}}}\left(\sum _{k=1}^{n}w_{kj}o_{k}\right)={\frac {\partial }{\partial w_{ij}}}w_{ij}o_{i}=o_{i}.}$

Ур. 2

Если нейрон находится в первом слое после входного слоя, то это просто .${\displaystyle o_{i}}$${\displaystyle x_{i}}$

Производная выхода нейрона по его входу — это просто частная производная функции активации:${\displaystyle j}$

${\displaystyle {\frac {\partial o_{j}}{\partial {\text{net}}_{j}}}={\frac {\partial \varphi ({\text{net}}_{j})}{\partial {\text{net}}_{j}}}}$

Ур. 3

что для логистической функции активации

${\displaystyle {\frac {\partial o_{j}}{\partial {\text{net}}_{j}}}={\frac {\partial }{\partial {\text{net}}_{j}}}\varphi ({\text{net}}_{j})=\varphi ({\text{net}}_{j})(1-\varphi ({\text{net}}_{j}))=o_{j}(1-o_{j})}$

Вот почему обратное распространение требует, чтобы функция активации была дифференцируемой . (Тем не менее, функция активации ReLU , которая недифференцируема в 0, стала довольно популярной, например, в AlexNet ).

Первый фактор легко оценить, если нейрон находится в выходном слое, потому что тогда и${\displaystyle o_{j}=y}$

${\displaystyle {\frac {\partial E}{\partial o_{j}}}={\frac {\partial E}{\partial y}}}$

Ур. 4

Если половину квадратичной ошибки использовать в качестве функции потерь, то мы можем переписать ее как

${\displaystyle {\frac {\partial E}{\partial o_{j}}}={\frac {\partial E}{\partial y}}={\frac {\partial }{\partial y}}{\frac {1}{2}}(t-y)^{2}=y-t}$

Однако если находится в произвольном внутреннем слое сети, нахождение производной по менее очевидно.${\displaystyle j}$${\displaystyle E}$${\displaystyle o_{j}}$

Рассматривая как функцию, входами которой являются все нейроны, получающие входные данные от нейрона ,${\displaystyle E}$${\displaystyle L=\{u,v,\dots ,w\}}$${\displaystyle j}$

${\displaystyle {\frac {\partial E(o_{j})}{\partial o_{j}}}={\frac {\partial E(\mathrm {net} _{u},{\text{net}}_{v},\dots ,\mathrm {net} _{w})}{\partial o_{j}}}}$

и взяв полную производную по , получаем рекурсивное выражение для производной:${\displaystyle o_{j}}$

${\displaystyle {\frac {\partial E}{\partial o_{j}}}=\sum _{\ell \in L}\left({\frac {\partial E}{\partial {\text{net}}_{\ell }}}{\frac {\partial {\text{net}}_{\ell }}{\partial o_{j}}}\right)=\sum _{\ell \in L}\left({\frac {\partial E}{\partial o_{\ell }}}{\frac {\partial o_{\ell }}{\partial {\text{net}}_{\ell }}}{\frac {\partial {\text{net}}_{\ell }}{\partial o_{j}}}\right)=\sum _{\ell \in L}\left({\frac {\partial E}{\partial o_{\ell }}}{\frac {\partial o_{\ell }}{\partial {\text{net}}_{\ell }}}w_{j\ell }\right)}$

Ур. 5

Следовательно, производную по можно вычислить, если известны все производные по выходам следующего слоя – тех, что ближе к выходному нейрону. [Обратите внимание, если бы какой-либо из нейронов в наборе не был подключен к нейрону , они были бы независимы от , а соответствующая частная производная при суммировании обратилась бы в ноль.]${\displaystyle o_{j}}$${\displaystyle o_{\ell }}$${\displaystyle L}$${\displaystyle j}$${\displaystyle w_{ij}}$

Подставляя уравнение 2 , уравнение 3, уравнение 4 и уравнение 5 в уравнение 1, получаем:

${\displaystyle {\frac {\partial E}{\partial w_{ij}}}={\frac {\partial E}{\partial o_{j}}}{\frac {\partial o_{j}}{\partial {\text{net}}_{j}}}{\frac {\partial {\text{net}}_{j}}{\partial w_{ij}}}={\frac {\partial E}{\partial o_{j}}}{\frac {\partial o_{j}}{\partial {\text{net}}_{j}}}o_{i}}$

${\displaystyle {\frac {\partial E}{\partial w_{ij}}}=o_{i}\delta _{j}}$

с

${\displaystyle \delta _{j}={\frac {\partial E}{\partial o_{j}}}{\frac {\partial o_{j}}{\partial {\text{net}}_{j}}}={\begin{cases}{\frac {\partial L(t,o_{j})}{\partial o_{j}}}{\frac {d\varphi ({\text{net}}_{j})}{d{\text{net}}_{j}}}&{\text{if }}j{\text{ is an output neuron,}}\\(\sum _{\ell \in L}w_{j\ell }\delta _{\ell }){\frac {d\varphi ({\text{net}}_{j})}{d{\text{net}}_{j}}}&{\text{if }}j{\text{ is an inner neuron.}}\end{cases}}}$

если — логистическая функция, а ошибка — квадратичная ошибка:${\displaystyle \varphi }$

${\displaystyle \delta _{j}={\frac {\partial E}{\partial o_{j}}}{\frac {\partial o_{j}}{\partial {\text{net}}_{j}}}={\begin{cases}(o_{j}-t_{j})o_{j}(1-o_{j})&{\text{if }}j{\text{ is an output neuron,}}\\(\sum _{\ell \in L}w_{j\ell }\delta _{\ell })o_{j}(1-o_{j})&{\text{if }}j{\text{ is an inner neuron.}}\end{cases}}}$

Чтобы обновить вес с помощью градиентного спуска, необходимо выбрать скорость обучения, . Изменение веса должно отражать влияние на увеличения или уменьшения . Если , увеличение увеличивает ; наоборот, если , увеличение уменьшает . Новый вес добавляется к старому, а произведение скорости обучения и градиента, умноженное на , гарантирует, что изменяется таким образом, что всегда уменьшается . Другими словами, в уравнении, приведенном ниже, всегда изменяется таким образом, что уменьшается:${\displaystyle w_{ij}}$${\displaystyle \eta >0}$${\displaystyle E}$${\displaystyle w_{ij}}$${\displaystyle {\frac {\partial E}{\partial w_{ij}}}>0}$${\displaystyle w_{ij}}$${\displaystyle E}$${\displaystyle {\frac {\partial E}{\partial w_{ij}}}<0}$${\displaystyle w_{ij}}$${\displaystyle E}$${\displaystyle \Delta w_{ij}}$${\displaystyle -1}$${\displaystyle w_{ij}}$${\displaystyle E}$${\displaystyle -\eta {\frac {\partial E}{\partial w_{ij}}}}$${\displaystyle w_{ij}}$${\displaystyle E}$

${\displaystyle \Delta w_{ij}=-\eta {\frac {\partial E}{\partial w_{ij}}}=-\eta o_{i}\delta _{j}}$

Используя матрицу Гессе производных второго порядка функции ошибки, алгоритм Левенберга–Марквардта часто сходится быстрее, чем градиентный спуск первого порядка, особенно когда топология функции ошибки сложна. ^{[12] [13]} Он также может находить решения при меньшем количестве узлов, для которых другие методы могут не сходиться. ^[13] Гессе можно аппроксимировать информационной матрицей Фишера . ^[14]

В качестве примера рассмотрим простую сеть прямого распространения. На -ом слое имеем , где — предварительные активации, — активации, — весовая матрица. При наличии функции потерь обратное распространение первого порядка утверждает, что , а обратное распространение второго порядка утверждает, что , где — символ дельта Дирака .${\displaystyle l}$$${\displaystyle x_{i}^{(l)},\quad a_{i}^{(l)}=f(x_{i}^{(l)}),\quad x_{i}^{(l+1)}=\sum _{j}W_{ij}a_{j}^{(l)}}$$${\displaystyle x}$${\displaystyle a}$${\displaystyle W}$${\displaystyle L}$$${\displaystyle {\frac {\partial L}{\partial a_{j}^{(l)}}}=\sum _{j}W_{ij}{\frac {\partial L}{\partial x_{i}^{(l+1)}}},\quad {\frac {\partial L}{\partial x_{j}^{(l)}}}=f'(x_{j}^{(l)}){\frac {\partial L}{\partial a_{j}^{(l)}}}}$$$${\displaystyle {\frac {\partial ^{2}L}{\partial a_{j_{1}}^{(l)}\partial a_{j_{2}}^{(l)}}}=\sum _{j_{1}j_{2}}W_{i_{1}j_{1}}W_{i_{2}j_{2}}{\frac {\partial ^{2}L}{\partial x_{i_{1}}^{(l+1)}\partial x_{i_{2}}^{(l+1)}}},\quad {\frac {\partial ^{2}L}{\partial x_{j_{1}}^{(l)}\partial x_{j_{2}}^{(l)}}}=f'(x_{j_{1}}^{(l)})f'(x_{j_{2}}^{(l)}){\frac {\partial ^{2}L}{\partial a_{j_{1}}^{(l)}\partial a_{j_{2}}^{(l)}}}+\delta _{j_{1}j_{2}}f''(x_{j_{1}}^{(l)}){\frac {\partial L}{\partial a_{j_{1}}^{(l)}}}}$$${\displaystyle \delta }$

Производные произвольного порядка в произвольных вычислительных графах можно вычислить с помощью обратного распространения, но с более сложными выражениями для более высоких порядков.

Функция потерь — это функция, которая отображает значения одной или нескольких переменных на вещественное число, интуитивно представляющее некоторую «стоимость», связанную с этими значениями. Для обратного распространения функция потерь вычисляет разницу между выходом сети и ее ожидаемым выходом после распространения обучающего примера по сети.

Математическое выражение функции потерь должно удовлетворять двум условиям для того, чтобы его можно было использовать в обратном распространении. ^[15] Первое заключается в том, что его можно записать как среднее по функциям ошибок для отдельных обучающих примеров. Причина этого предположения в том, что алгоритм обратного распространения вычисляет градиент функции ошибок для одного обучающего примера, который необходимо обобщить до общей функции ошибок. Второе предположение заключается в том, что его можно записать как функцию выходов нейронной сети.${\textstyle E={\frac {1}{n}}\sum _{x}E_{x}}$${\textstyle E_{x}}$${\textstyle n}$${\textstyle x}$

Пусть будут векторами в .${\displaystyle y,y'}$${\displaystyle \mathbb {R} ^{n}}$

Выберите функцию ошибки, измеряющую разницу между двумя выходами. Стандартный выбор — квадрат евклидова расстояния между векторами и : Функция ошибки по обучающим примерам может быть записана как среднее значение потерь по отдельным примерам:${\displaystyle E(y,y')}$${\displaystyle y}$${\displaystyle y'}$$${\displaystyle E(y,y')={\tfrac {1}{2}}\lVert y-y'\rVert ^{2}}$$${\textstyle n}$$${\displaystyle E={\frac {1}{2n}}\sum _{x}\lVert (y(x)-y'(x))\rVert ^{2}}$$

• Градиентный спуск с обратным распространением не гарантирует нахождение глобального минимума функции ошибки, а только локального минимума; кроме того, у него есть проблемы с пересечением плато в ландшафте функции ошибки. Эта проблема, вызванная невыпуклостью функций ошибки в нейронных сетях, долгое время считалась серьезным недостатком, но Янн ЛеКун и др. утверждают, что во многих практических задачах это не так. ^[16]
• Обучение методом обратного распространения не требует нормализации входных векторов; однако нормализация может улучшить производительность. ^[17]
• Обратное распространение требует, чтобы производные функций активации были известны на этапе проектирования сети.

Обратное распространение ошибки выводилось неоднократно, поскольку по сути это эффективное применение цепного правила (впервые записанного Готфридом Вильгельмом Лейбницем в 1676 году) ^{[18] [19]} к нейронным сетям.

Термин «обратное распространение исправления ошибок» был введен в 1962 году Фрэнком Розенблаттом , но он не знал, как это реализовать. ^[20] В любом случае, он изучал только нейроны, выходы которых представляли собой дискретные уровни, которые имели только нулевые производные, что делало обратное распространение невозможным.

Предшественники обратного распространения появились в теории оптимального управления с 1950-х годов. Ян Лекун и др. приписывают работу Понтрягина и других 1950-х годов в теории оптимального управления, особенно метод сопряженного состояния , как непрерывную версию обратного распространения. ^[21] Хехт-Нильсен ^[22] приписывает алгоритм Роббинса–Монро (1951) ^[23] и работу Артура Брайсона и Ю-Чи Хо « Прикладное оптимальное управление» (1969) предвестниками обратного распространения. Другими предшественниками были Генри Дж. Келли 1960, ^[2] и Артур Э. Брайсон (1961). ^[3] В 1962 году Стюарт Дрейфус опубликовал более простой вывод, основанный только на цепном правиле . ^{[24] [25] [26]} В 1973 году он адаптировал параметры контроллеров пропорционально градиентам ошибок. ^[27] В отличие от современного обратного распространения, эти предшественники использовали стандартные вычисления матрицы Якоби от одного этапа к предыдущему, не рассматривая ни прямые связи между несколькими этапами, ни потенциальный дополнительный прирост эффективности из-за разреженности сети. ^[28]

Алгоритм обучения ADALINE (1960) был градиентным спуском с квадратичной ошибкой потери для одного слоя. Первый многослойный персептрон (MLP) с более чем одним слоем, обученным стохастическим градиентным спуском ^[23], был опубликован в 1967 году Шуничи Амари . ^[29] MLP имел 5 слоев, с 2 обучаемыми слоями, и он научился классифицировать шаблоны, не разделяемые линейно. ^[28]

Современное обратное распространение впервые было опубликовано Сеппо Линнайнмаа как «обратный режим автоматического дифференцирования » (1970) ^[30] для дискретных связанных сетей вложенных дифференцируемых функций. ^{[31] [32] [33]}

В 1982 году Пол Вербос применил обратное распространение к многослойным перцептивам способом, который стал стандартным. ^{[34] [35]} Вербос описал, как он разработал обратное распространение в интервью. В 1971 году, во время своей докторской диссертации, он разработал обратное распространение для математизации «потока психической энергии» Фрейда . Он неоднократно сталкивался с трудностями при публикации работы, и ему это удалось только в 1981 году. ^[36] Он также утверждал, что «первое практическое применение обратного распространения было для оценки динамической модели для прогнозирования национализма и социальных коммуникаций в 1974 году» им самим. ^[37]

Около 1982 года ^{[36] : 376} Дэвид Э. Румельхарт независимо разработал ^{[38] : 252} обратное распространение и обучил этому алгоритму других в своем исследовательском кругу. Он не ссылался на предыдущие работы, поскольку не знал о них. Сначала он опубликовал алгоритм в статье 1985 года, а затем в статье Nature 1986 года экспериментальный анализ этой техники. ^[39] Эти статьи стали часто цитируемыми, способствовали популяризации обратного распространения и совпали с возрождающимся исследовательским интересом к нейронным сетям в 1980-х годах. ^{[11] [40] [41]}

В 1985 году этот метод был также описан Дэвидом Паркером. ^{[42] [43]} Янн Лекун предложил альтернативную форму обратного распространения для нейронных сетей в своей докторской диссертации в 1987 году. ^[44]

Градиентный спуск занял значительное время, чтобы достичь признания. Некоторые ранние возражения были следующими: не было никаких гарантий, что градиентный спуск может достичь глобального минимума, только локального минимума; нейроны были «известны» физиологам как создающие дискретные сигналы (0/1), а не непрерывные, и в случае дискретных сигналов нет градиента, который можно было бы взять. См. интервью с Джеффри Хинтоном , ^[36], который был награжден Нобелевской премией по физике 2024 года за свой вклад в эту область. ^[45]

Принятию способствовало несколько приложений по обучению нейронных сетей с помощью обратного распространения, которые иногда получали популярность за пределами исследовательских кругов.

В 1987 году NETtalk научился преобразовывать английский текст в произношение. Сейновски пробовал обучать его как с помощью обратного распространения, так и с помощью машины Больцмана, но обнаружил, что обратное распространение значительно быстрее, поэтому он использовал его для финального NETtalk. ^{[36] : 324} Программа NETtalk стала популярной и успешной, появившись в шоу Today . ^[46]

В 1989 году Дин А. Померло опубликовал ALVINN — нейронную сеть, обученную автономному вождению с использованием обратного распространения ошибки. ^[47]

В 1989 году была опубликована программа LeNet для распознавания рукописных почтовых индексов.

В 1992 году TD-Gammon достигла наивысшего человеческого уровня игры в нарды. Это был агент обучения с подкреплением с нейронной сетью с двумя слоями, обученный методом обратного распространения. ^[48]

В 1993 году Эрик Ван выиграл международный конкурс по распознаванию образов с помощью обратного распространения ошибки. ^{[49] [50]}

В 2000-х годах он вышел из моды ^{[ требуется ссылка ]} , но вернулся в 2010-х годах, извлекая выгоду из дешевых, мощных вычислительных систем на базе GPU . Это было особенно заметно в распознавании речи , машинном зрении , обработке естественного языка и исследовании структуры языка (в котором он использовался для объяснения различных явлений, связанных с изучением первого ^[51] и второго языка. ^[52] ) ^[53]

Обратное распространение ошибки было предложено для объяснения компонентов потенциала, связанного с событиями (ERP) человеческого мозга, таких как N400 и P600 . ^[54]

В 2023 году команда Стэнфордского университета реализовала алгоритм обратного распространения на фотонном процессоре . ^[55]

• Искусственная нейронная сеть
• Нейронная цепь
• Катастрофическое вмешательство
• Ансамбльное обучение
• АдаБуст
• Переобучение
• Нейронное обратное распространение
• Обратное распространение во времени
• Обратное распространение через структуру
• Трехфакторное обучение

• Гудфеллоу, Ян ; Бенджио, Йошуа ; Курвилль, Аарон (2016). «6.5 Обратное распространение и другие алгоритмы дифференциации». Глубокое обучение. MIT Press. стр.  200–220 . ISBN 9780262035613.
• Нильсен, Майкл А. (2015). «Как работает алгоритм обратного распространения». Нейронные сети и глубокое обучение. Determination Press.
• Маккаффри, Джеймс (октябрь 2012 г.). «Обратное распространение нейронных сетей для программистов». Журнал MSDN .
• Рохас, Рауль (1996). "Алгоритм обратного распространения" (PDF) . Нейронные сети: систематическое введение . Берлин: Springer. ISBN 3-540-60505-3.

• Учебник по нейронной сети обратного распространения в Викиверситете
• Бернацкий, Мариуш; Влодарчик, Пшемыслав (2004). «Принципы обучения многослойной нейронной сети с использованием обратного распространения ошибки».
• Карпати, Андрей (2016). "Лекция 4: Обратное распространение, нейронные сети 1". CS231n . Стэнфордский университет. Архивировано из оригинала 2021-12-12 – через YouTube .
• «Что на самом деле делает обратное распространение?». 3Blue1Brown . 3 ноября 2017 г. Архивировано из оригинала 2021-12-12 – через YouTube .
• Путта, Судип Раджа (2022). «Еще один вывод обратного распространения в матричной форме».