Backpropagation

Общая схема обучения
...
1. prepare batch
2. forward pass
3. backward pass
4. update weights
non-linear activation
softmax

Computational graph
*
+
*-1
exp
+1
x
w0
w1

Example 1. Sigmoid
*
+
*-1
exp
+1
x
w0
The Chain Rule
w1

Example 1. Sigmoid
*
+
*-1
exp
+1
x
w0
w1
The Chain Rule

Staged computation
*
+
x
w0
w1

Gradient checking

Patterns
*
+
*3
x
y
z
max

Patterns
*
+
*3
max
x
y
z

Example 2. Матрицы
+
-

Example 2. Матрицы
Если Z = XY, то зная dZ имеем:
далее dx = df / dx
dY = XTdZ
dX = dZYT
Dimension analysis
X и dX должны иметь одинаковую размерность
Неплохое объяснение
http://cs231n.stanford.edu/vecDerivs.pdf

Example 3. Simple NN
+
+
L

Example 4. Softmax

Example 4. Softmax

На практике backprop для softmax и cross-entropy loss обычно считают вместе
В таком случае получается очень простая формула для градиента