ML—线性回归系列（二）—基础统计

华电北风吹

天津大学认知计算与应用重点实验室

日期：2015/11/25

线性回归是统计学里面一个非常重要的部分，在本系列的第二部分主要总结一些线性回归的统计学指标。并且不定期更新。

一、统计学名词

样本与系列第一篇表示一样表示为(x(i),y(i))，模型对于x(i)的预测值为y^(i)=θ^Tx(i)，所有样本的y(i)的均值表示为y¯=1m∑mi=1y(i).

下面来看三个度量指标

1、总离差平方和

SST=∑mi=1(y(i)−y¯)2

2、误差平方和(残差平方和)

SSE=∑mi=1(y(i)−y^(i))2

3、回归平方和

SSR=∑mi=1(y^(i)−y¯)2

并且对于这三个指标有

SST=SSE+SSR

二、线性回归显著性指标

1、复相关系数

R2=SSRSST=1−SSTSST

很显然R值范围为[0,1]，并且R越接近与1，说明线性关系越强。

2、F检验

F=SSR/n−1SSE/m−n服从F(n−1,m−n)分布，因此可以使用F检验来判断回归显著性。