最小二乘问题

1. 引文

假设我们要确定一根绳子的弹性，而它的长度与拉力间服从公式

，F为拉力，l为绳子在拉力F作用下的长度，e和k为待确定的常数。为此，我们进行一批实验采集如下数据，并绘制其散点图







根据此数据，构造的公式及其矩阵形式为







要解此方程需要利用最小二乘方法。

2. 最小二乘方法

对于上例所示的系统

，A为m*n且m>n的矩阵，被成为超定的（overdetermined）。一般，它没有解。例如，当m=3，n=2时，A的两个列向量

和

在

空间图形如下，我们希望能获得此列向量的线性组合以使

。从图中，可清楚看出这是不可能的，因为b并不在

和

张成的空间中。





这时，因为无法求求解，退而求其次，我们希望解x1和x2使残差向量（residual vector）

尽可能小。当然，这时解就依赖于如何度量残差向量的长度。在最小二乘方法中使用欧氏距离，问题转换为下面优化问题





由上面图形可知，当线性组合使残差变量与品面正交时，向量b到此平面的距离最小。表达为公式

把

代入上式有，解此公式就得到最小二乘意义下的解。



，称为正规方程组（normal
equations）

定理：若A的列向量线性独立，则

是非奇异的，并且有唯一解。

3. 案例分析

利用matlab

>> C=A’*A % Normal equations

C= 5 15

15 55

>> x=C\(A’*b)

x = 4.2360

3.2260



注意，利用正规方程组解最小二乘问题有以下缺陷：

1）构造

会导致信息丢失
2）

的条件数是A的平方

3.1

会导致信息

对于

，

。当

非常小时，会造成

的浮点表达

，从而导致正规方程组为奇异的。因此，A中重要信息在

中丢失了

3.2

条件数大