机器学习中PCA和ICA的理解
2014-05-28 14:17
134 查看
PCA:principal component analysis ,主成分分析
ICA :Independent component analysis,独立成分分析
PCA,ICA都是统计理论当中的概念,在机器学习当中应用很广,比如图像,语音,通信的分析处理。
PCA是找出信号当中的不相关部分(正交性),对应二阶统计量分析。PCA的实现一般有两种,一种是用特征值分解去实现的,一种是用奇异值(SVD)分解去实现。特征值分解也有很多的局限,比如说变换的矩阵必须是方阵,SVD没有这个限制。
PCA的问题其实是一个基的变换,使得变换后的数据有着最大的方差。方差的大小描述的是一个变量的信息量,我们在讲一个东西的稳定性的时候,往往说要减小方差,如果一个模型的方差很大,那就说明模型不稳定了。但是对于我们用于机器学习的数据(主要是训练数据),方差大才有意义,不然输入的数据都是同一个点,那方差就为0了,这样输入的多个数据就等同于一个数据了。
ICA是找出构成信号的相互独立部分(不需要正交),对应高阶统计量分析。ICA理论认为用来观测的混合数据阵X是由独立元S经过A线性加权获得。ICA理论的目标就是通过X求得一个分离矩阵W,使得W作用在X上所获得的信号Y是独立源S的最优逼近,该关系可以通过下式表示:
Y = WX = WAS , A = inv(W)
ICA相比与PCA更能刻画变量的随机统计特性,且能抑制高斯噪声。
从线性代数的角度去理解,PCA和ICA都是要找到一组基,这组基张成一个特征空间,数据的处理就都需要映射到新空间中去。
两者常用于机器学习中提取特征后的降维操作
相关文章推荐
- 机器学习中PCA和ICA的理解
- pca与ica学习与理解
- 机器学习实战之PCA
- 机器学习实战——PCA和SVD
- 读书笔记:机器学习实战(5)——章6的支持向量机代码和个人理解与注释
- 机器学习实战学习笔记5——主成分分析(PCA)
- 深度学习解决机器阅读理解任务的研究进展
- 机器学习中的数学(4)-线性判别分析(LDA), 主成分分析(PCA)
- 【机器学习基础】理解为什么机器可以学习3——VC理论
- 机器学习中PCA和ICA的理解
- 机器学习实战python版第三章决策树代码理解
- 【机器学习基础】理解为什么机器可以学习1——PAC学习模型
- 机器学习语言理解
- 读书笔记:机器学习实战(4)——章五的逻辑回归代码和个人理解
- PCA、LDA的参考学习、理解、混乱、清晰的过程
- 对机器学习中学习曲线的理解
- 读书笔记:机器学习实战(3)——章4的朴素贝叶斯分类代码和个人理解与注释
- 【机器学习基础】理解为什么机器可以学习——Hoeffding不等式
- 机器学习实战 - 读书笔记(13) - 利用PCA来简化数据
- 深度学习算法:主成分分析(PCA)算法的理解