深度学习: Nonlinear (非线性)
2017-12-21 18:53
218 查看
非线性很难形式化,但却是深度学习的 核心竞争力 。
正是由于网络中强大的非线性因素,我们得以 深度地抽象出 特征。
非线性函数主要存在于 pooling层 和 激活函数 ,用来 增加模型容错能力(即 防止过拟合)。
假若网络中全部是线性部件,那么线性的组合 其实还是线性,与单独一个线性分类器无异。这样就根本做不到用非线性来逼近任意函数。
正是由于网络中强大的非线性因素,我们得以 深度地抽象出 特征。
非线性函数主要存在于 pooling层 和 激活函数 ,用来 增加模型容错能力(即 防止过拟合)。
假若网络中全部是线性部件,那么线性的组合 其实还是线性,与单独一个线性分类器无异。这样就根本做不到用非线性来逼近任意函数。
相关文章推荐
- 深度学习解决多视图非线性数据特征融合问题
- 深度学习解决多视图非线性数据特征融合问题
- 深度学习中的非线性激励函数以及unsupervised pre-training
- [深度学习论文笔记][Weight Initialization] Exact solutions to the nonlinear dynamics of learning in deep lin
- 深度学习解决多视图非线性数据特征融合问题
- 深度学习解决多视图非线性数据特征融合问题
- 深度学习解决多视图非线性数据特征融合问题
- 激活引入非线性_池化预防过拟合(深度学习入门系列之十二)
- 激活引入非线性,池化预防过拟合(深度学习入门系列之十二)
- 数值优化(Numerical Optimization)学习系列-非线性约束最优化(Nonlinear Constrained Optimization)
- 深度学习解决多视图非线性数据特征融合问题
- 深度学习解决多视图非线性数据特征融合问题
- 深度学习图片文字定位识别-(转)
- 深度学习之卷积网络的层级结构
- Spark MLlib Deep Learning Neural Net(深度学习-神经网络)
- 深度学习与强化学习
- 深度学习优化算法Momentum RMSprop Adam
- 深度学习笔记之使用Faster-Rcnn进行目标检测 (实践篇)
- [caffe]深度学习之图像分类模型VGG解读
- 深度学习(二十九)Batch Normalization 学习笔记