Gradient Descent for Linear Regression，线性回归的梯度下降算法

内容均来自Standford公开课machine learning中Andrew老师的讲解.

针对线性回归模型，我们假设：hypothesis(x) = theta0 + theta1*x,（这里x是我们的样本值）



也就是上图的htheta(x)，并且定义costFunction，就是上图的J(theta0,theta1),也就是要求theta0和theta1使得我们假设函数h(x)和样本真值（y）之间的平均误差最小，minJ(theta0,theta1)。


一开始我们可以指定theta0和theta1的初始值，然后采用梯度下降算法知道theta(j)收敛(这里i=0,1)，也就是梯度下降不明显的时候。针对costFunction J(theta0,theta1)求偏导。



同时对theta0和theta1采用梯度下降算法，直到收敛，就可以找到合适的值。

为方便理解，这里又对常见的costFunction J(theta0,theta1)给出如下所示图：



也就是可以找到使得J(theta0,theta1)的theta0和theta1.