神经网络中如果不加入激活函数，其一定程度可以看成线性表达，最后的表达能力不好，如果加入一些非线性的激活函数，整个网络中就引入了非线性部分，增加了网络的表达能力。目前比较流行的激活函数主要分为以下7种：

1.sigmoid

2.tanh

3.ReLu

4.Leaky ReLu

5.PReLu

6.RReLu

7 Maxout

8 SELU

总结

是ELU的改进版本，参考文献： 
[ReLu]:Rectifier Nonlinearities Improve Neural Network Acoustic Models 
[PRelu]:Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification