常见激活函数(sigmoid/logistic/tanh/softmax/ReLU关系解释)
2017-09-16 11:38
1731 查看
Sigmoid
神经网络最常见的激活函数就是sigmoid函数。sigmoid函数意为“S型曲线函数”,它常常指的是logistic(对数几率)函数:
y=11+e−x=exex+1
但sigmoid函数还有其他的函数,例如tanh函数等。
tanhx=ex−e−xex+e−x
(更多见https://en.wikipedia.org/wiki/Sigmoid_function)
Softmax
logistic函数是对于二分类的函数,若扩展到K维,则为softmax函数:σ(z)j=ezj∑Kk=1ezk
其中z为K维向量,j=1,⋯,K。
ReLU&softplus
2001年,神经科学家Dayan、Abott从生物学角度模拟出了脑神经元接受信号更精确的激活模型,ReLU(Rectified Linear Units)函数被提出:f(x)=x+=max(0,x)
而ReLU函数是个分段函数,求它的平滑近似函数就是softplus函数:
f(x)=ln(1+ex)
可以发现,softplus求导为
f′(x)=exex+1=11+e−x,即Logistic函数。
所以可以得到以上提及的函数的关系图:
ReLU—平滑函数→softplus—求微分→logistic—泛化→softmax
参考:http://www.cnblogs.com/neopenx/p/4453161.htmlsigmoid:https://en.wikipedia.org/wiki/Sigmoid_function
softmax:https://en.wikipedia.org/wiki/Softmax_function
ReLU:https://en.wikipedia.org/wiki/Rectifier_(neural_networks)
相关文章推荐
- 激活函数 Sigmoid/Tanh/ReLU/Maxout
- 神经网络中的激活函数tanh sigmoid RELU softplus softmatx
- 神经网络中的激活函数(activation function)-Sigmoid, ReLu, TanHyperbolic(tanh), softmax, softplus
- 激活函数-Sigmoid,Tanh,ReLu,softplus,softmax
- 神经网络之激活函数(sigmoid、tanh、ReLU)
- 机器学习笔记-神经网络中激活函数(activation function)对比--Sigmoid、ReLu,tanh
- 一次面试引发的问题:激活函数Relu,sigmoid ,tanh的角逐
- 神经网络中的激活函数——加入一些非线性的激活函数,整个网络中就引入了非线性部分,sigmoid 和 tanh作为激活函数的话,一定要注意一定要对 input 进行归一话,但是 ReLU 并不需要输入归一化
- 【机器学习】神经网络-激活函数-面面观(Activation Function) (Sigmoid Relu tanh)
- 深度学习:激活函数的比较和优缺点,sigmoid,tanh,relu
- 神经网络中的激活函数-Sigmoid, ReLu, TanHyperbolic(tanh), softmax, softplus简述
- 深度学习常用激活函数之— Sigmoid & ReLU & Softmax
- python绘制神经网络中的Sigmoid和Tanh激活函数图像(附代码)
- 神经网络常用激活函数对比:sigmoid VS sofmax(附python源码)
- 神经网络四:Softmax以及与Sigmoid的关系
- 深度学习常用激活函数之— Sigmoid & ReLU & Softmax
- 深度学习常用激活函数之— Sigmoid & ReLU & Softmax
- 深度学习常用激活函数之— Sigmoid & ReLU & Softmax
- 神经网络为什么要使用激活函数,为什么relu要比sigmoid要好
- Sigmoid/Logistic function and softmax without overflow