神经网络笔记 - 反向传播(BackPropagation) 续

继续来证明BP3和BP4.

∂C∂blj=∂C∂alj∂alj∂zlj∂zlj∂blj

因为:

zlj=wljal−1+blj

所以

∂zlj∂blj=1

代入上式, 可得:

∂C∂blj=∂C∂alj∂alj∂zlj=δlj

这就是公式 BP3.

来证明公式BP4

∂C∂wljk=∂C∂alj∂alj∂zlj∂zlj∂wljk

因为:

zlj=∑kwljkal−1k+blj

所以

∂zlj∂wljk=al−1k

代入上式, 可得:

∂C∂wljk=∂C∂alj∂alj∂zljal−1k=δljal−1k

这就是公式BP4

Reference

http://neuralnetworksanddeeplearning.com/ 强烈推荐

机器学习 - 周志华 清华大学出版社

https://en.wikipedia.org/wiki/Hadamard_product_(matrices)