吴恩达机器学习 7.神经网络参数的反向传播算法

1.神经网络算法的代价函数

标记方法
神经网络的训练样本有m个
每个包含一组输入x和一组输出信号y
L表示神经网络层数
SIS_ISI​表示每层的神经元个数
SlS_lSl​表示输出层的神经元个数
SLS_LSL​表示最后一层中处理单元的个数

神经网络的分类定义为两种情况：二类分类和多类分类

代价函数
对比逻辑回归问题中的代价函数和神经网络中代价函数

1.在逻辑回归中，我们只有一个输出变量，又称标量（scalar），也只有一个因变量y
2.在神经网络中，我们可以有很多输出变量，我们的hθ(x)h_\theta(x)hθ​(x)是一个维度为K的向量,并且我们训练集中的因变量也是同样维度的一个向量，因此我们的代价函数会比逻辑回归更加复杂一些
但是二者代价函数背后的思想还是一样的，我们希望通过代价函数来观察算法预测的结果与真实情况的误差有多大，唯一不同的是，对于每一行特征，我们都会给出K个预测，基本上我们可以利用循环，对每一行特征都预测K个不同结果，然后在利用循环在K个预测中选择可能性最高的一个，将其与y中的实际数据进行比较。
正则化的那一项只是排除了每一层θ0\theta_0θ0​后，每一层的θ\thetaθ矩阵的和。最里层的循环j循环所有的行（由 sls_lsl​+1 层的激活单元数决定），循环i则循环所有的列，由该层（sls_lsl​层）的激活单元数所决定。即：hθ(x)h_\theta(x)hθ​(x)与真实值之间的距离为每个样本-每个类输出的加和，对参数进行regularization的bias项处理所有参数的平方和。
2.反向传播算法
1.正向传播方法：计算神经网络预测结果时用到，我们从第一层开始正向一层一层进行计算，直到最后一层hθ(x)h_\theta(x)hθ​(x)
2.反向传播算法：为了计算代价函数的偏导数
首先计算最后一层的误差，然后再一层一层反向求出各层的误差，直到倒数第二层
举例：
假设训练集只有一个样本(x(1),y(1))(x^{(1)},y^{(1)})(x(1),y(1)),我们的神经网络是一个四层的神经网络，其中K=4,SL=4,L=4S_L=4,L=4SL​=4,L=4:
从最后一层的误差开始计算，误差是激活单元的预测(a(4))(a^{(4)})(a(4))与实际值(y(k))(y^{(k)})(y(k))之间的误差，（k=1:k）我们用δ\deltaδ来表示误差，
则：δ(4)=a(4)−y\delta^{(4)}=a^{(4)}-yδ(4)=a(4)−y
随后我们用这个误差值来计算前一层的误差：
δ(3)=(Θ(3))Tδ(4)∗g′(z(3))\delta^{(3)}=(\Theta^{(3)})^T\delta^{(4)}*g'(z^{(3)})δ(3)=(Θ(3))Tδ(4)∗g′(z(3))其中g′(z(3)g'(z^{(3)}g′(z(3)是S形函数的导数，g′(z(3)=a(3)∗(1−a(3))g'(z^{(3)}=a{(3)}*(1-a^{(3)})g′(z(3)=a(3)∗(1−a(3))，而(Θ(3))Tδ(4)(\Theta^{(3)})^T\delta^{(4)}(Θ(3))Tδ(4)则是权重导致的误差和
随后继续计算第二层的误差：δ(2)=(Θ(2))Tδ(3)∗g′(z(2))\delta^{(2)}=(\Theta^{(2)})^T\delta^{(3)}*g'(z^{(2)})δ(2)=(Θ(2))Tδ(3)∗g′(z(2))
第一层是输入变量，不存在误差
有了所有误差的误差的表达式后，便可以计算代价函数的偏导数了，假设λ=0\lambda=0λ=0即即我们不做任何正则化处理时有：
明确式子的上下标含义：
lll代表目前所计算的是第几层
jjj代表目前计算层中的激活单元的下标，也将是下一层的第jjj个输入变量的下标。
iii代表下一层中误差单元的下标，是受到权重矩阵中第iii行影响的下一层中的误差单元的下标。
如果我们考虑正则化处理，并且我们的训练集是一个特征矩阵而非向量。在上面的特殊情况中，我们需要计算每一层的误差单元来计算代价函数的偏导数。在更为一般的情况中，我们同样需要计算每一层的误差单元，但是我们需要为整个训练集计算误差单元，此时的误差单元也是一个矩阵，我们用Δij(l)\Delta^{(l)}_{ij}Δij(l)​来表示这个误差矩阵。第 lll层的第iii个激活单元受到第jjj个参数影响而导致的误差。
我们的算法表示为

即首先用正向传播方法计算出每一层的激活单元，利用训练集的结果与神经网络预测的结果求出最后一层的误差，然后利用该误差运用反向传播法计算出直至第二层的所有误差。
在求出了Δij(l)\Delta^{(l)}_{ij}Δij(l)​之后，我们便可以计算代价函数的偏导数了，计算方法如下：
Dij(l):=1mΔij(l)+λΘij(l)ifj≠0D^{(l)}_{ij}:=\frac{1}{m}\Delta^{(l)}_{ij}+\lambda\Theta^{(l)}_{ij} if j\not=0Dij(l)​:=m1​Δij(l)​+λΘij(l)​ifj​=0
Dij(l):=1mΔij(l)ifj=0D^{(l)}_{ij}:=\frac{1}{m}\Delta^{(l)}_{ij} if j=0Dij(l)​:=m1​Δij(l)​ifj=0
在Octave 中，如果我们要使用 fminuc这样的优化算法来求解求出权重矩阵，我们需要将矩阵首先展开成为向量，在利用算法求出最优解后再重新转换回矩阵。
假设我们有三个权重矩阵，Θ1\Theta1Θ1，Θ2\Theta2Θ2 和
Θ3\Theta3Θ3，尺寸分别为 1011，1011 和1*11

thetaVec = [Theta1(:) ; Theta2(:) ; Theta3(:)]​...optimization using functions like fminuc...
​Theta1 = reshape(thetaVec(1:110, 10, 11);​
Theta2 = reshape(thetaVec(111:220, 10, 11);​
Theta1 = reshape(thetaVec(221:231, 1, 11);

3.反向传播算法的直观理解
为了更好地理解反向传播算法，我们先来仔细研究一下前向传播的原理：
前向传播算法：

反向传播算法：

4.实现：展开参数
这里将详细介绍使用反向传播算法计算代价函数的导数的一个细节的实现过程：怎样把你的参数从矩阵展开成向量，以便我们在高级最优化步骤中的使用需要

5.梯度检验
当我们对一个较为复杂的模型（例如神经网络）使用梯度下降算法时，可能会存在一些不容易察觉的错误，意味着，虽然代价函数值看上去在不断减小，但最终的结果可能并不是最优解。
为了避免这样的问题，我们采取一种叫做梯度的数值检验（Numerical Gradient Checking）方法。这种方法(双侧差分法)的思想是通过估计梯度值来检验我们计算的导数值是否真的是我们要求的。
对梯度的估计采用的方法是在代价函数上沿着切线的方向选择离两个非常近的点然后计算两个点的平均值用以估计梯度。即对于某个特定的θ\thetaθ ，我们计算出在θ−ϵ\theta -\epsilonθ−ϵ 处和 θ+ϵ\theta +\epsilonθ+ϵ 的代价值（ϵ\epsilonϵ是一个非常小的值，通常选取 0.001），然后求两个代价的平均，用以估计在θ\thetaθ处的代价值。

Octave 中代码如下：
gradApprox = (J(theta + eps) – J(theta - eps)) / (2*eps)
当θ\thetaθ是一个向量时，我们则需要对偏导数进行检验。因为代价函数的偏导数检验只针对一个参数的改变进行检验，下面是一个只针对θ1\theta_1θ1​进行检验的示例

最后我们还需要对通过反向传播方法计算出的偏导数进行检验
根据上面的算法，计算出的偏导数存储在矩阵Dij(l)D^{(l)}_{ij}Dij(l)​ 中。检验时，我们要将该矩阵展开成为向量，同时我们也将 θ\thetaθ矩阵展开为向量，我们针对每一个θ\thetaθ 都计算一个近似的梯度值，将这些值存储于一个近似梯度矩阵中，最终将得出的这个矩阵同Dij(l)D^{(l)}_{ij}Dij(l)​进行比较。

6.随机初始化
优化算法都需要一些初始的参数。到目前为止我们都是初始所有参数为0，这样的初始方法对于逻辑回归来说是可行的，但是对于神经网络来说是不可行的。如果我们令所有的初始参数都为0，这将意味着我们第二层的所有激活单元都会有相同的值。同理，如果我们初始所有的参数都为一个非0的数，结果也是一样的。
我们通常初始参数为正负ε之间的随机值，假设我们要随机初始一个尺寸为10×11的参数矩阵，参数为正负ε之间的随机值，代码如下：

Theta1 = rand(10, 11) * (2*eps) – eps

7.组合
小结一下使用神经网络时的步骤：
1.网络结构：第一件要做的事是选择网络结构，即决定选择多少层以及决定每层分别有多少个单元。

注意：
第一层的单元数即我们训练集的特征数量。
最后一层的单元数是我们训练集的结果的类的数量
如果隐藏层数大于1，确保每个隐藏层的单元个数相同，通常情况下隐藏层单元的个数越多越好。我们真正要决定的是隐藏层的层数和每个中间层的单元数。

2.训练神经网络

参数的随机初始化
利用正向传播方法计算所有的hθ(x)h_\theta(x)hθ​(x)
编写计算代价函数 J的代码
利用反向传播方法计算所有偏导数
利用数值检验方法检验这些偏导数
使用优化算法来最小化代价函数