吴恩达深度学习--激活函数

四种常用的激活函数

（1）sigmoid函数

函数的表达式为：a=11+e−za=11+e−z

导函数：g′(z)=a(1−a)g′(z)=a(1−a)

(2)tanh函数

- 函数的表达式为：a=ez−e−zez+e−za=ez−e−zez+e−z

- 导函数：g′(z)=1−a2g′(z)=1−a2

（3）ReLU函数

- 函数的表达式为：a=max(0,z)a=max(0,z)

- 导函数：



- 当z=0时是不可导的，此时区导数为0或者1即可。

（4）Leaky ReLU

- 函数的表达式为：a=max(0.01z,z)a=max(0.01z,z)。这里可以写0.02z，0.01z只是举个栗子，目的是让ReLU函数在自变量小于0的时候有一定的斜率。

- 导函数：

四种激活函数的应用与比较

（1）相比于sigmoid函数，tanh函数几乎在所有场合都更优越。

（2）sigmoid函数用在二元分类的输出层。

（3）默认的激活函数是ReLU函数，当不确定激活函数用哪个时，可以选择ReLU函数。

（4）Leaky ReLu函数的效果比ReLU要好，但是ReLU函数更常用。

（5）使用ReLU函数和Leaky ReLU的好处是：神经网络的学习速度比tanh函数或者sigmoid函数会快的多。

（6）sigmoid函数和tanh函数的缺点是：当z特别大或者特别小时，导数的梯度（函数的斜率）就会很小。