常用的激活函数总结(Sigmoid函数、Tanh函数、ReLu函数、Softmax函数)

本篇博客主要介绍一下在神经网络中常用的激活函数：主要有以下四类，Sigmoid函数、Tanh函数、ReLu函数和Softmax函数。

下面依次介绍：

1.Sogmoid函数 (Logistic 函数)

公式：f(z)=11+e−z

将实数映射到(0,1),可用来二分类

缺点: 激活函数计算量大

反向传播时，容易出现梯度消失的情况。



2.Tanh函数 (双曲正切函数)

公式：f(z)=tanh(z)=ez−e−zez+e−z

将实数映射到[-1,1]

双曲正切函数在特征明显的时候效果会更好。



3.ReLu函数

公式：ϕ(x)=max(0,x)

优点：收敛速度快

缺点：训练时候很“脆弱”，很容易“die”



4.softmax函数 ,用于多分类问题

公式：σ(z)j=ezj∑ki=1ezi

输出每类可能出现的概率大小，和为1