线性回归系列(3)-多元线性回归

1.概念

多元回归分析，是指通过对两上或两个以上的自变量与一个因变量的相关分析，建立预测模型进行预测的方法。当自变量与因变量之间存在线性关系时，称为多元线性回归分析。

一元线性回归是一个主要影响因素作为自变量来解释因变量的变化，在现实问题研究中，因变量的变化往往受几个重要因素的影响，此时就需要用两个或两个以上的影响因素作为自变量来解释因变量的变化，这就是多元回归亦称多重回归。当多个自变量与因变量之间是线性关系时，所进行的回归分析就是多元性回归。

2.多元线性回归的计算模型

设y为因变量，

为自变量，并且自变量与因变量之间为线性关系时，则多元线性回归模型为：



　　其中，b0为常数项，

为回归系数，b1为

固定时，x1每增加一个单位对y的效应，即x1对y的偏回归系数；同理b2为

固定时，x2每增加一个单位对y的效应，即x2对y的偏回归系数，等等。如果两个自变量x1,x2同一个因变量y呈线相关时，可用二元线性回归模型描述为：

　　


　　其中，b0为常数项，

为回归系数，b1为

固定时，x2每增加一个单位对y的效应，即x2对y的偏回归系数，等等。如果两个自变量x1,x2同一个因变量y呈线相关时，可用二元线性回归模型描述为：

　　y=b0+b1x1+b2x2+e

　　建立多元性回归模型时，为了保证回归模型具有优良的解释能力和预测效果，应首先注意自变量的选择，其准则是：

　　(1)自变量对因变量必须有显著的影响，并呈密切的线性相关；

　　(2)自变量与因变量之间的线性相关必须是真实的，而不是形式上的；

　　(3)自变量之彰应具有一定的互斥性，即自变量之彰的相关程度不应高于自变量与因变量之因的相关程度；

　　(4)自变量应具有完整的统计数据，其预测值容易确定。

　　多元性回归模型的参数估计，同一元线性回归方程一样，也是在要求误差平方和()为最小的前提下，用最小二乘法求解参数。以二线性回归模型为例，求解回归参数的标准方程组为

　　


　　解此方程可求得b0,b1,b2的数值。亦可用下列矩阵法求得

　　


　　即