学习大数据第二天：数据挖掘的基础方法——最小二乘法

1.原理

最常用的是普通最小二乘法（ Ordinary Least Square，OLS）：所选择的回归模型应该使所有观察值的残差平方和达到最小。（Q为残差平方和）- 即采用平方损失函数。

　样本回归模型：



其中ei为样本（Xi, Yi）的误差

平方损失函数：



则通过Q最小确定这条直线，即确定

，以

为变量，把它们看作是Q的函数，就变成了一个求极值的问题，可以通过求导数得到。求Q对两个待估参数的偏导数：



根据数学知识我们知道，函数的极值点为偏导为0的点。

解得：



2.最小二乘法MATLAB实现

（1）