反向传播学习算法

1969年被发明，但直到上世级八十年代才得到重视。

通用的网络训练伪代码：

function neural-network-learning( training-records ) returns network
network <- initialize weights (randomly)
start loop
for each example in training-records do
network-output = neural-network-output( network, example )
actual-output = observed outcome associated with example
update weights in network based on
{ example, network-output, actual-output }
end for
end loop when all examples correctly predicted or hit stopping conditions

return network

注意：

多层神经网络的学习算法即不保证全局最优，也不保证绝对有效。

MSE（mean squared error）：平均方差。

定义：

function backpropagation-algorithm

( network, training-records, learning-rate ) returns network

反向学习传播算法带三个参数：

1.network：多层前馈网络。

2.training-records：样本集（特征，标注）

3.learning-rate：超参数。

现在想象：给出一个样本，输入网络，产生输出，与label对比，得到差异Erri。

重点来了：如果根据差异Erri调整权重？

考虑最后两层：倒数第一层是输出层i，倒数第二层是隐藏层j.

权重调整公式（1）：Wji <--  Wji + α × aj × Erri × g′ (input_sumi)

关键是咋理解这个公式？

α × aj × Erri × g′ (input_sumi)是调权重的变化值，再分析。

α：学习率，超参数。

aj：神经元j的激活值。aj = g （input_sumj）

input_sumi = Wi · Ai + b

Erri：异差项

我们想得到一个微小的差异项：Δi = Erri × g′（input_sumi）

也就是说，如果我们想把权重朝着正确的方向调整一点点，下面的公式更好表达：

权重调整公式（2）：Wji 《-- Wji + α × aj × Δi

这个公式是说：考虑把差异项中的一点变化Δi向稍好的方向修正下，通过上面的公式可以调整一下Wji.

但是，这个第i层的小小差异Δi，在第j层又是什么情况呢？

Δj《-- g′（ input_sumj）ΣWjiΔi

小结下：

输出层到隐藏层：

（1）：input_sumi = Wi · Ai + b 

（2）：aj = g （input_sumj）

（3）：Wji <--  Wji + α × aj × Erri × g′ (input_sumi)

（4）：Δi = Erri × g′（input_sumi）

隐藏层往前传播：

（5）：Wji 《-- Wji + α × aj × Δi， 也就是说，学习率和上层神经元的激活值对差异有线性关系。

（6）：Δj《-- g′（ input_sumj）ΣWjiΔi

在Mini-Batch的SGD中，算的是平均坡度。

说得比较执行层面，对理解帮助不大。

推荐一篇知乎上的文档：https://www.zhihu.com/question/27239198?rf=24827633
这篇文档关于复合函数的链式法则、BP的巧妙之处以及欠钱的比喻，说得很形象，如果高数过关，不难理解，这里就不转了。

两种视角各有特点吧。