最小二乘法建模

在机器学习中常常需要学习或者推断属性变量与相应响应变量或目标变量之间的函数关系，使得对任何一个属性集合，我们可以预测其响应。
线性建模是机器学习最直接的学习问题，即属性与响应之间的线性关系。

最简单的线性模型是：


……（1）

学习的任务就是用数据为两个参数w0和w1选择合适的值。

衡量一个模型与数据点接近程度的普遍方法是真正的目标值与模型预测的目标值之间的平方差：



数值越小表明在xn处越接近tn。

我们将平方差定义为平方损失函数，用以描述模型使tn所损失的精度，我们使用Ln( )表示损失函数：


……（2）

如果需要对整个数据有一个低的损失，我们需要考虑数据集的平均损失：


……（3）

我们的工作变成了调整w0和w1的值产生模型，使得L最低。

结合（1）、（2）、（3）式得到：



为求的L最小时和的值，此时要用到拐点的概念







当一阶导为0时有拐点，如果二阶导为正时，则拐点处为一个极小值，从而在L最小值处，w0和w1的偏导数一定为0。
（1）对w0求偏导



令

，求出w0对应的拐点，即：



解得：




……（4）
所以此拐点处对应的损失函数为最小值。
（2）对w1求偏导



将（4）代入



令

，求出w1对应的拐点，即：



求的最佳w1：


……（5）

验证拐点：



所以此拐点处对应的损失函数为最小值。

通过（4）、（5）可以得到最好的线性模型：



[align=left]
[/align]