最小二乘法、梯度下降算法

普通最小二乘法（ Ordinary Least Square，OLS）

最小二乘的思想就是要使得观测点和估计点的距离的平方和达到最小。

设拟合曲线

y=a*x+b

离散点在拟合曲线附近 且任一点 I 距拟合曲线的距离（误差）为

ui =yi-y

最小二乘即可写成

D=(∑ui)2

且是D取最小值 具有最小值。那么这就需要做求偏导了。（这也就是为什么最小二乘有个要求就是数据需要具有二阶矩），大致推导过程如下：

整理后

解出

a=β1

b=β2

参考 ：

http://blog.csdn.net/qll125596718/article/details/8248249

http://bbs.pinggu.org/thread-3041002-1-1.html

梯度下降算法

http://blog.csdn.net/woxincd/article/details/7040944

http://blog.csdn.net/woxincd/article/details/7040944