深度学习—传统神经网络总结
2017-08-10 12:28
411 查看
基础知识请参阅我之前的博客：
机器学习-神经网络表述 ：http://blog.csdn.net/xinzhi8/article/details/69569174
机器学习-神经网络反向传播算法 ： http://blog.csdn.net/xinzhi8/article/details/69664207
机器学习-神经网络综合运用 ： http://blog.csdn.net/xinzhi8/article/details/69676883
机器学习算法实现-神经网络 ： http://blog.csdn.net/xinzhi8/article/details/70154778
激励函数：线性转向非线性，评判激励函数的优劣主要考虑二个方面。前向传播与反向梯度损失，前向传播是将线性数据转化到{0,1}或{-1,1}等等离散的数据，反向梯度损失则越小越好。
常用的激励函数：
优点：将数据映射到[0,1]区间
缺点：y(x)导数的最大值是0.25，即反向损失的最小是75% ，梯度下降非常明显
优点：将数据映射到[-1,1]区间
缺点：虽然f(x)的导数最大值为1，但当取1的是，f(x)为0 对线性数据没有做非线性转化作用。
即反向梯度损失是有的
缺点：正向截取负值，损失大量特征
优点：反向梯度没有损失
优缺点：保留更多参数，反向梯度损失较小
机器学习-神经网络表述 ：http://blog.csdn.net/xinzhi8/article/details/69569174
机器学习-神经网络反向传播算法 ： http://blog.csdn.net/xinzhi8/article/details/69664207
机器学习-神经网络综合运用 ： http://blog.csdn.net/xinzhi8/article/details/69676883
机器学习算法实现-神经网络 ： http://blog.csdn.net/xinzhi8/article/details/70154778
激励函数：线性转向非线性，评判激励函数的优劣主要考虑二个方面。前向传播与反向梯度损失，前向传播是将线性数据转化到{0,1}或{-1,1}等等离散的数据，反向梯度损失则越小越好。
常用的激励函数：
优点：将数据映射到[0,1]区间
缺点：y(x)导数的最大值是0.25，即反向损失的最小是75% ，梯度下降非常明显
优点：将数据映射到[-1,1]区间
缺点：虽然f(x)的导数最大值为1，但当取1的是，f(x)为0 对线性数据没有做非线性转化作用。
即反向梯度损失是有的
缺点：正向截取负值，损失大量特征
优点：反向梯度没有损失
优缺点：保留更多参数，反向梯度损失较小
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 单层神经网络、多层感知机、深度学习的总结
- 深度学习DeepLearning.ai系列课程学习总结：5. 浅层神经网络
- 深度学习DeepLearning.ai系列课程学习总结：2. 神经网络基础
- UFLDL Tutorial深度学习基础——学习总结：稀疏自编码器（一）神经网络(neural networks)
- 深度学习（二）-----传统神经网络
- 深度学习DeepLearning.ai系列课程学习总结：8. 多层神经网络代码实战
- 机器学习——神经网络、深度学习 知识点总结 及 面试题汇总
- 【神经网络与深度学习】转-caffe安装吐血总结
- 深度学习DeepLearning.ai系列课程学习总结：3. Python矢量化实现神经网络
- 【原创 深度学习与TensorFlow 动手实践系列 - 2】第二课：传统神经网络
- 深度学习之卷积神经网络总结
- 机器学习——神经网络、深度学习 知识点总结 及 面试题汇总
- 深度学习/神经神经网络常用激活函数总结
- 神经网络和深度学习-学习总结
- 深度学习-传统神经网络使用TensorFlow框架实现MNIST手写数字识别
- 深度学习与传统神经网络算法
- 小象学院深度学习笔记1（传统神经网络）
- arxiv | 技术概述深度学习：详解前馈、卷积和循环神经网络
- 神经网络和深度学习简史（第一部分）：从感知机到BP算法
- 深度学习——图像前背景分离神经网络技术架构