台大李宏毅Machine Learning 2017Fall学习笔记 (8)Backpropagation

台大李宏毅Machine Learning 2017Fall学习笔记 (8)Backpropagation

当网络结构很复杂时，会有大量的参数。∇L(θ)是百万维的向量。如何高效地计算百万维的参数，使用反向传播算法来计算。BP并非是一个和GD不同的训练方法，BP就是GD，只是是一种比较有效率的计算方法。



数学知识铺垫：微积分中的链式法则，很简单。



还是以上节中手写数字识别为例。



xn是一张输入图片，yn是网络的输出label向量，y^n是该图片的真值label向量。Cn是输出值和真实值的交叉熵损失。定义L(θ)为损失函数。

L(θ)=∑n=1NCn(θ)

损失函数对参数的导数为：

∂L(θ)∂w=∑n=1N∂Cn(θ)∂w

如下图所示：∂C∂w=∂z∂w∂C∂z，Backpropagation算法分为两个过程。

Forward pass

首先计算前向传播中的∂z∂w。以上图为例。

∂z∂w1=x1

∂z∂w2=x2

显然这一步比较简单，某一参数的微分值就是其对应的输入值。注意要把所有∂z∂w的值计算出来。

Backward pass

然后计算反向传播中损失函数对于激活函数输入值的偏微分∂C∂z。

如下图中所示：∂C∂z=∂a∂z∂C∂a，∂a∂z=σ′(z)。



利用链式法则计算∂C∂a.



稍微整理一下，成为下图这样。



下图中很形象地展示了反向传播的概念，σ′(z)类似模拟电路中的放大器。



最后一步是计算∂C∂z′和∂C∂z′′。这分两种情况：1)z′和z′′的下一层是输出层；2)z′和z′′的下一层不是输出层。

Case1:输出层



Case2:非输出层

不断地递归计算∂C∂z，直至输出层，如下图。



注意：在backward pass过程中也需要对所有的z，计算出∂C∂z.

Summary

一图胜千言。