机器学习----神经网络（二）BP算法

神经网络学习算法误差逆传播（error BackPropagation，简称BP）



输入层和隐层之间的连接权重为v1h,v2h,...vdh,所以输出层yj的输入为αh=∑di=1vidxi

输出层和隐层之间的连接权重为w1j,w2j,...wqj,所以输出层yj的输入为βj=∑qh=1whjbh

假定隐层和输出层都使用Sigmod函数，输出神经元的阈值为θj

神经网络的输出为：

yj=f(βj−θj)

在网络上的均方误差：

E=12∑j=1l(y^j−yj)

BP算法基于梯度下降法策略，以目标的负梯度方向对参数进行调整。对于误差E，给定学习率η，有

Δwhj=−η∂Ek∂whj

链式法则，有：

∂E∂whj=∂E∂yj⋅∂yj∂βj⋅∂βj∂whj

根据βj的定义，有

∂βj∂whj=bh

根据Sigmod函数性质f′=f(1−f)

有

−∂E∂yj⋅∂yj∂βj=−yj−y^j)f′(βj−θj)=yj(1−yj)(y^j−yj)=gj

得

Δwhj=ηgjbh

其他参数类似

参考：《数学之美》