神经网络中sigmoid 与代价函数
2018-04-01 21:28
435 查看
1.从方差代价函数说起
代价函数经常用方差代价函数(即采用均方误差MSE),比如对于一个神经元(单输入单输出,sigmoid函数),定义其代价函数为:其中y是我们期望的输出,a为神经元的实际输出【 a=σ(z), where z=wx+b 】。在训练神经网络过程中,我们通过梯度下降算法来更新w和b,因此需要计算代价函数对w和b的导数:
然后更新w、b:w <—— w - η* ∂C/∂w = w - η * a *σ′(z)b <—— b - η* ∂C/∂b = b - η * a * σ′(z)因为sigmoid函数的性质,导致σ′(z)在z取大部分值时会很小(如下图标出来的两端,几近于平坦),这样会使得w和b更新非常慢(因为η * a * σ′(z)这一项接近于0)。
2.交叉熵代价函数(cross-entropy cost function)
为了克服这个缺点,引入了交叉熵代价函数(下面的公式对应一个神经元,多输入单输出):其中y为期望的输出,a为神经元实际输出【a=σ(z), where z=∑Wj*Xj+b】与方差代价函数一样,交叉熵代价函数同样有两个性质:非负性。(所以我们的目标就是最小化代价函数)
当真实输出a与期望输出y接近的时候,代价函数接近于0.(比如y=0,a~0;y=1,a~1时,代价函数都接近0)。
另外,它可以克服方差代价函数更新权重过慢的问题。我们同样看看它的导数:
可以看到,导数中没有σ′(z)这一项,权重的更新是受σ(z)−y这一项影响,即受误差的影响。所以当误差大的时候,权重更新就快,当误差小的时候,权重的更新就慢。这是一个很好的性质。
3.总结
当我们用sigmoid函数作为神经元的激活函数时,最好使用交叉熵代价函数来替代方差代价函数,以避免训练过程太慢。不过,你也许会问,为什么是交叉熵函数?导数中不带σ′(z)项的函数有无数种,怎么就想到用交叉熵函数?这自然是有来头的,更深入的讨论就不写了,少年请自行了解。
另外,交叉熵函数的形式是−[ylna+(1−y)ln(1−a)]而不是 −[alny+(1−a)ln(1−y)],为什么?因为当期望输出的y=0时,lny没有意义;当期望y=1时,ln(1-y)没有意义。而因为a是sigmoid函数的实际输出,永远不会等于0或1,只会无限接近于0或者1,因此不存在这个问题。
相关文章推荐
- AI神经网络激活函数sigmoid及matlab的sigmf
- 神经网络的代价函数到底怎么在算
- python绘制神经网络中的Sigmoid和Tanh激活函数图像(附代码)
- 神经网络中的激活函数-Sigmoid, ReLu, TanHyperbolic(tanh), softmax, softplus简述
- 课程笔记之六:神经网络的代价函数和误差反向传播算法
- 神经网络中的激活函数(activation function)-Sigmoid, ReLu, TanHyperbolic(tanh), softmax, softplus
- 神经网络之激活函数(sigmoid、tanh、ReLU)
- 【机器学习】神经网络-激活函数-面面观(Activation Function) (Sigmoid Relu tanh)
- 神经网络学习之代价函数详解
- 神经网络中的激活函数tanh sigmoid RELU softplus softmatx
- 神经网络与深度学习读书笔记第五天----交叉熵代价函数入门
- 深度学习-基础概念:神经元(Neurons)、Sigmoid 函数与神经网络基本结构
- 神经网络与深度学习笔记(四)为什么用交叉熵代替二次代价函数
- 神经网络三:浅析神经网络backpropagation算法中的代价函数
- 神经网络中的激活函数——加入一些非线性的激活函数,整个网络中就引入了非线性部分,sigmoid 和 tanh作为激活函数的话,一定要注意一定要对 input 进行归一话,但是 ReLU 并不需要输入归一化
- 机器学习笔记-神经网络中激活函数(activation function)对比--Sigmoid、ReLu,tanh
- 机器学习(11.3)--神经网络(nn)算法的深入与优化(3) -- QuadraticCost(二次方代价函数)数理分析
- Machine Learning第五讲[神经网络: 学习] --(一)代价函数和BP算法
- 神经网络常用激活函数对比:sigmoid VS sofmax(附python源码)
- 五、改进神经网络的学习方法(1):交叉熵代价函数