swish激活函数

• 函数公式
• 函数图像
• 函数特点
• 对比mish激活函数

函数公式

函数图像

当β\betaβ取不同的值时，函数图像如下：

当β\betaβ = 0时，Swish激活函数变为线性函数 f(x) = x2\frac{x}{2}2x​，
当β\betaβ = ∞\infty∞ 时，Swish激活函数变为0或x，相当于Relu，
所以，Swish函数可以看作是介于线性函数与ReLU函数之间的平滑函数。
——————————————————————————————————
Swish函数的求导过程为：

导数图像如下：

函数特点

1.Swish函数和其一阶导数都具有平滑特性；
2.有下界，无上界，非单调。

对比mish激活函数

mish激活函数参考：mish激活函数
函数图像对比如下：