协方差的意义和计算公式

在概率统计中我们学习的最基本的知识有：均值，方差，标准差。

均值

X¯=1n∑i=1nXi

它表示的是一组数据的集中趋

方差

S2=1n−1∑i=1n(Xi−X¯)2

标准差

S=方差−−−−√=S2−−−√

方差和标准差表示一组数据的离散程度

协方差

cov(X,Y)=∑ni=1(Xi−X¯)(Yi−Y¯)n−1

协方差表示的意义是什么呢？

从公式我们可以看出：

cov(X,Y)=⎧⎩⎨>0,X和Y正相关<0,X和Y负相关=0,X和Y相互独立

协方差矩阵

这只是从一维的角度去解释协方差，如果放到高维空间又会怎样？

当然我们会使用协方差矩阵，且协方差矩阵的定义如下：

Cn×n=(ci,j,cj,i=cov(Dimi,Dimj))

我们用一个3维的例子来表示

C=⎛⎝⎜cov(x,x)cov(y,x)cov(z,x)cov(x,y)cov(y,y)cov(z,y)cov(x,z)cov(y,z)cov(z,z)⎞⎠⎟