回归模型效果评估系列4-从协方差到相关系数

相关表和相关图可反映两个变量之间的相互关系及其相关方向，但无法确切地表明两个变量之间相关的程度。相关系数是用以反映变量之间相关关系密切程度的统计指标。 从协方差出发，了解相关系数的真实含义和数学计算。

期望值分别为E[X]与E[Y]的两个实随机变量X与Y之间的协方差Cov(X,Y)定义为：



从直观上来看，协方差表示的是两个变量总体误差的期望。

如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值时另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值；

如果两个变量的变化趋势相反，即其中一个变量大于自身的期望值时另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。

说的简单一些，协方差表示了两个变量同向变化的方向（同向还是反向）和幅度，但存在一个问题，例如下图（来自知乎），两种情况下，两个变量变化的方向和单一变量变化的相对幅度是一样的，但协方差却差别很大（情况一的协方差≈15428，情况二的协方差≈1.5428），原因仅仅是情况二中的红色变量的取值范围小了很多。



似乎有点不合理，这两种情况下他们的相关程度我们认为应该是一样的；

问题在于两个变量中的一个的取值范围变小了，同时也注意到，他们的协方差差别刚好是红色变量变小的倍数，所以我们想衡量两个变量之间的相关程度，应该引入类似标准化类似的操作，这就是协方差到相关系数的自然需求。

相关系数是研究变量之间线性相关程度的量



其中，Cov(X,Y)为X与Y的协方差，Var[X]为X的方差，Var[Y]为Y的方差

我对相关系数的理解就是协方差的标准化，协方差的正负符号表明了两个变量变化的大体方向（同向还是反向），而标准化则是去除因为取值范围带来的幅度的变化

事实上，经过标准化的协方差（也就是相关系数）的取值在[-1,1]之间，-1表示完全负相关，1表示完全正相关，0表示不相关

相关系数的取值范围证明参见施瓦茨不等式