python实现PCA（主成分分析）降维

PCA复杂的原理在这就不说了，可以去网上看看相关资料，说的都很好，在这我主要说一下实现的过程。

PCA计算过程:

第一步：求均值。求平均值，然后对于所有的样例，都减去对应的均值

第二步：求特征协方差矩阵

第三步：求协方差的特征值和特征向量

第四步：将特征值按照从大到小的顺序排序，选择其中最大的k个，然后将其对应的k个特征向量分别作为列向量组成特征向量矩阵.

第五步：将样本点投影到选取的特征向量上。 假设样例数为m，特征数为n，减去均值后的样本矩阵为DataAdjust(m*n)，协方差矩阵是n*n，选取的k个特征向量组成的矩阵为EigenVectors(n*k).那么投影后的数据FinalData为： FinalData(m*k) = DataAdjust(m*n) * EigenVectors(n*k)。

python实现代码：

def pca(self, dataMat, K=65535): # dataMat是原始数据，一个矩阵，K是要降到的维数
meanVals = mean(dataMat, axis=0) # 第一步:求均值
meanRemoved = dataMat - meanVals # 减去对应的均值

covMat = cov(meanRemoved, rowvar=0) # 第二步,求特征协方差矩阵

eigVals, eigVects = linalg.eig(mat(covMat)) # 第三步,求特征值和特征向量

eigValInd = argsort(eigVals) # 第四步,将特征值按照从小到大的顺序排序
eigValInd = eigValInd[: -(K+1): -1] # 选择其中最大的K个
redEigVects = eigVects[:, eigValInd] # 然后将其对应的k个特征向量分别作为列向量组成特征向量矩阵.

lowDDataMat = meanRemoved * redEigVects # 第五步,将样本点投影到选取的特征向量上,得到降维后的数据

reconMat = (lowDDataMat * redEigVects.T) + meanVals # 还原数据
contribution = self.calc_single_contribute(eigVals, eigValInd) # 计算单维贡献度,总贡献度为其和
return lowDDataMat, contribution