深度学习/神经神经网络常用激活函数总结
2016-09-01 21:09
731 查看
softmax: 在多分类中常用的激活函数，是基于逻辑回归的。
Softplus：softplus(x)=log(1+e^x)，近似生物神经激活函数，最近出现的。
Relu：近似生物神经激活函数，最近出现的。
tanh：双曲正切激活函数，也是很常用的。
sigmoid：S型曲线激活函数，最常用的。
hard_sigmoid：基于S型激活函数。
linear：线性激活函数，最简单的。
Softplus：softplus(x)=log(1+e^x)，近似生物神经激活函数，最近出现的。
Relu：近似生物神经激活函数，最近出现的。
tanh：双曲正切激活函数，也是很常用的。
sigmoid：S型曲线激活函数，最常用的。
hard_sigmoid：基于S型激活函数。
linear：线性激活函数，最简单的。
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- bp神经网络及matlab实现
- CUDA搭建
- 稀疏自动编码器 （Sparse Autoencoder）
- 白化（Whitening）：PCA vs. ZCA
- softmax回归
- 卷积神经网络初探
- TensorFlow人工智能引擎入门教程之九 RNN/LSTM循环神经网络长短期记忆网络使用
- TensorFlow人工智能引擎入门教程之十 最强网络 RSNN深度残差网络 平均准确率96-99%
- TensorFlow人工智能入门教程之十一 最强网络DLSTM 双向长短期记忆网络（阿里小AI实现）
- TensorFlow人工智能入门教程之十四 自动编码机AutoEncoder 网络
- TensorFlow人工智能引擎入门教程所有目录
- 如何用70行代码实现深度神经网络算法
- 近200篇机器学习&深度学习资料分享（含各种文档，视频，源码等）
- 基于神经网络的预测模型
- 详细解读神经网络十大误解，再也不会弄错它的事情原理
- 神经网络初步学习手记
- 安装caffe过程记录
- DIGITS的安装与使用记录
- 我对ltsm的学习，从rnn的问题讲起
- TensorFlow简介