数据挖掘算法学习（四）PCA算法

转载请附上链接http://blog.csdn.net/iemyxie/article/details/38236647

算法简介

主成分分析(PrincipalComponentAnalysis,简称PCA)是一种常用的基于变量协方差矩阵对信息进行处理、压缩和抽提的有效方法。主要用于对特征进行降维。

算法假设

数据的概率分布满足高斯分布或是指数型的概率分布。方差高的向量视为主元。

算法输入

包含n条记录的数据集

算法输出

降维或压缩后的数据集

算法思想

•
1.
计算所有样本的均值
m
和
协方差
矩阵
S
；

•
2.
计算
S
的特征值
，
并
由
大到小排序；

•
3.
选择前
n'
个特征值对应的特征矢量作成一个变换矩阵
E=[e1,e2, …, en’]
；

•
4.
最后，对于之前每一个
n
维的特征矢量
x
可以转换为
n’
维的新特征
矢量

y=transpose(E)(x-m)

weka运行结果

以weather.nominal.arff为例运行结果部分截图如下：



算法应用

人脸识别

图像压缩

信号去噪

转载请附上链接
http://blog.csdn.net/iemyxie/article/details/38236647