PCA等降维操作与深度学习的不同点的一些思考
2018-01-10 20:39
302 查看
深度学习的本质上是将数据从低维空间映射到高维空间,但是并不仅仅有这个作用,拿全连接层举例,假设输入数据500维,可以映射到1000维做一个升维操作,也可以降维到256维,但往往经过一个完整的神经网络后,可以将数据映射到高维空间,这样做的目的就是让数据变得线性可分。因为线性分类器是非常简单的分类器,这样数据映射到高维空间后就能较为容易的分开。其他SVM、核方法、等等也有类似的基本思想。
但是在早期机器学习的研究中涉及到很多降维的方法,例如PCA、CCA、LDA等等,这些降维操作目的是从高维数据中选取较为重要的几个维度作为新的特征维度,这样做的好处是可以去除噪声。但是这样看来好像与深度学习等方法的方向完全相反。
其实方法确实不同,但是应用场景不同,早期机器学习的研究过程中,数据量很小,并且还在高维空间,这样就会有很多的噪声冗余成分,这时候就需要做降维操作。但是现在应用深度学习可以拥有足够大的数据量,这样可以将数据映射到高维空间使之变的线性可分,运用到高维空间中线性分类器的优势。
仅为本人的一点思考,欢迎讨论。
但是在早期机器学习的研究中涉及到很多降维的方法,例如PCA、CCA、LDA等等,这些降维操作目的是从高维数据中选取较为重要的几个维度作为新的特征维度,这样做的好处是可以去除噪声。但是这样看来好像与深度学习等方法的方向完全相反。
其实方法确实不同,但是应用场景不同,早期机器学习的研究过程中,数据量很小,并且还在高维空间,这样就会有很多的噪声冗余成分,这时候就需要做降维操作。但是现在应用深度学习可以拥有足够大的数据量,这样可以将数据映射到高维空间使之变的线性可分,运用到高维空间中线性分类器的优势。
仅为本人的一点思考,欢迎讨论。
相关文章推荐
- 深度学习中的降维操作——PCA(主成分分析)
- (Python实现)数据PCA降维白化和L2归一化-深度学习实践常用数据预处理
- PCA降维的一些思考
- 【神经网络与深度学习】Leveldb的一些具体操作说明
- JAVA学习提高之----简单克隆与深度克隆的思考
- Python机器学习应用 | 降维——PCA方法及其应用
- 一些变量在access和sql中操作的不同
- IOS 开发学习26 NSDictionary的一些操作
- 关于近期学习java se篇的小结及一些学习路线的思考
- 深度学习(Deep Learning)读书思考三:正则化
- 一直以来伴随我的一些学习习惯(一):学习与思考
- 深度学习的一些教程
- 深度学习介绍(四)卷积操作
- 使用mac学习java的一些基本操作
- 大数据学习[12]:elasticsearch一些概念与索引操作
- ADO.NET操作Oracle数据库与SQL Server的一些不同
- 一年了,走了一些弯路,是时候回归了,介绍下深度学习中常见的降低过拟合的方法
- 深度学习(卷积神经网络)一些问题总结
- 降维学习笔记(一)PCA算法
- Pandas学习:对于Series和DataFrame一些基本操作