卷积神经网络反向BP算法公式推导

博文转载至：http://blog.csdn.net/celerychen2009/article/details/8964753

此篇博文只涉及到公式推导，如果想了解卷积神经网络的具体工作过程，可查看转载博文博主其它文档或者百度自己去看。转载的文章涉及到的角下标大家注意下，虽然作者进行了解释，但还是注意下，还有原文可能有些错别子，由于错别字都在图片上，所以我就没修改了，大家看的时候希望注意下。

深度神经网路已经在语音识别，图像识别等领域取得前所未有的成功。本人在多年之前也曾接触过神经网络。本系列文章主要记录自己对深度神经网络的一些学习心得。

第一篇，从最经典的BP网络开始。我不打算详细描述神经网络的生物学运行机理，因为网络上有太多的教程可以参考。这里，主要描述其数学上的计算过程，并且采用的符号可能与其它参考书上的符号有很大差异。特别是，斯坦福官方网站上对深度网络中所引用的符号有太多的小标，上标，给初学者带来不便。

一. 网络结构

 经典的BP网络，其具体结构如下：





请特别注意上面这个图的一些符号说明如下：

二.  学习算法

     1. 信号的前向传递过程



2.
  误差反向传导过程

三.  小结

     
           信号的前向传递和误差反向传递过程都可以用递归公式描述。其实，就几个公式而已，把相关的几个重要公式再次总结如下：