多元线性回归方程的建立

建立多元线性回归方程，实际上是对多元线性模型（2-2-4）进行估计，寻求估计式（2-2-3）的过程。与一元线性回归分析相同，其基本思想是根据最小二乘原理，求解

使全部观测值

与回归值

的残差平方和达到最小值。由于残差平方和


（2-2-5）
是

的非负二次式，所以它的最小值一定存在。
根据极值原理，当Q取得极值时，

应满足



由（2-2-5）式，即满足


（2-2-6）
(2-2-6）式称为正规方程组。它可以化为以下形式


（2-2-7）
如果用A表示上述方程组的系数矩阵可以看出A是对称矩阵。则有



（2-2-8）

式中X是多元线性回归模型中数据的结构矩阵，

是结构矩阵X的转置矩阵。
(2-2-7)式右端常数项也可用矩阵D来表示
即



因此(2-2-7)式可写成
Ab=D （2-2-10）
或


（2-2-11）
如果A满秩（即A的行列式

）那么A的逆矩阵A-1存在，则由(2-10)式和(2-11)式得

的最小二乘估计为


（2-2-12）
也就是多元线性回归方程的回归系数。
为了计算方便往往并不先求

，再求b，而是通过解线性方程组(2-2-7)来求b。(2-2-7)是一个有p+1个未知量的线性方程组，它的第一个方程可化为


（2-2-13）
式中


（2-2-14）
将（2-2-13）式代入（2-2-7）式中的其余各方程，得


（2-2-15）
其中


（2-2-16）
将方程组（2-2-15）式用矩阵表示，则有
Lb=F （2-2-17）
其中



于是
b=L-1F （2-2-18）
因此求解多元线性回归方程的系数可由（2-2-16）式先求出L，然后将其代回（2-2-17）式中求解。求b时，可用克莱姆法则求解，也可通过高斯变换求解。如果把b直接代入（2-2-18）式，由于要先求出L的逆矩阵，因而相对复杂一些。
例2-2-1 表2-2-1为某地区土壤内含植物可给态磷(y)与土壤内所含无机磷浓度(x1)、土壤内溶于K2CO3溶液并受溴化物水解的有机磷浓度(x2)以及土壤内溶于K2CO3溶液但不溶于溴化物的有机磷(x3)的观察数据。求y对x1, x2, x3的线性回归方程 。
表2-2-1 土壤含磷情况观察数据



计算如下：









由(2-2-16)式



















代入(2-2-15)式得


（2-2-19）
若用克莱姆法则解上述方程组，则其解为


（2-2-20）
其中



计算得
b1=1.7848，b2=-0.0834，b3=0.1611



回归方程为



应用克莱姆法则求解线性方程组计算量偏大，下面介绍更实用的方法——高斯消去法和消去变换。