关于协方差矩阵和相关系数矩阵的一些应用认识

今天重新认识了一下用PCA 进行人脸识别，为什么要用主成分分析。

首先，来了解什么是方差。方差即为：差，方，和，均。差是减法，方是平方，和是加法，均则是出发，就是求差，方的均值。方差实际就是计算差值平均。均值反映的是平均水平，方差反映的是波动的水平。方差越大，数据波动越大，方差越小，数据波动越小。

然后我了解了一下协方差矩阵和相关矩阵的区别协方差矩阵的优势效应表现在单个指标方差大，指标之间相关程度高以及指标数多的一类指标上。而相关系数矩阵主要的优势表现在指标之间相关程度高以及指标数多的一类指标上。所以当单个指标的方差对研究起关键作用时，那么用协方差矩阵分析主成分比较好。协方差反应的是个体对事物的认识差异较大的，比如说人脸识别中，用协方差计算出的主成分反应的就是不同人脸的差异部分。如果研究的目的变了，单个指标的方差并不反映指标的重要性。我们就不能考虑用协方差矩阵了。

相关系数矩阵就是随机变量标准化后的协方差矩阵，通过随机变量的标准化，相关系数矩阵剥离了单个指标的方差，仅仅保留了指标间的相关性，用相关系数矩阵计算主成分，主要的优势表现在指标之间相关程度高以及指标数多的一类指标上。通过个体的认识来综合反应指标的重要性，那么用相关系数矩阵来表示主成分。

X,Y 独立的定义是P（X<x,Y<y）=P(X<x)P(Y<y)。

相关的意思是说两随机变量有线性关系，即Y=aX+b
不相关则意思说没有线性关系。

独立一定能得到不相关。
但不相关的随机变量不一定独立，比如随机变量X ， X^2 没有线性关系，不相关，但显然不独立。

了解相关矩阵前先了解相关系数。

相关系数的取值范围为[-1,1]，当相关系数为1时，表示正相关；当相关系数为-1时，表示负相关；当相关系数为0时，表示不相关。

正相关：因变量随着自变量的增大而增大

负相关：因变量随着自变量的增大而减小

计算公

被用来计算相关系数。

再来看相关矩阵：

相关矩阵中每个值都是代表原矩阵中各列之间的相关系数（相关矩阵为方阵，阶数为原矩阵的列数），对角线上都是原矩阵各列与自身的相关系数，所以对角线的值均为1。

随机变量x=(x1,x2,……，xn),xi与xj的协方差为cov(xi,xj)=E[(xi-Exi)(xj-Exj)] 相关系数Pij为cov(xi,xj)/(DxiDxj)^0.5 相关阵就是有(Pij) n*n矩阵

http://en.wikipedia.org/wiki/Covariance_and_correlation

http://en.wikipedia.org/wiki/Correlation_matrix#Correlation_matrices

类似的理解有/article/8635499.html

协方差矩阵的理解http://blog.sina.com.cn/s/blog_4aa4593d01012am3.html