吴恩达机器学习课程笔记－2.单变量线性回归

文章目录

• 2.单变量线性回归（Linear Regression with One Variable）
• 2.1 模型表示（Model Representation）
• 2.2 代价函数（Cost Function）
• 2.3 代价函数的直观理解I（Cost Function Intuition I）
• 2.4 代价函数的直观理解II（Cost Function Intuition II）
• 2.5 梯度下降（Gradient Descent）
• 2.6 梯度下降的直观理解（Gradient Descent Intuition）
• 2.7 梯度下降的线性回归（Gradient Descent For Linear Regression）

2.单变量线性回归（Linear Regression with One Variable）

2.1 模型表示（Model Representation）

房价预测问题：
假定你朋友要买的房子面积为1250平方尺，你要告诉他这房子能卖多少钱。

它被称作监督学习是因为对于每个数据来说，我们给出了“正确的答案”，即告诉我们：根据我们的数据来说，房子实际的价格是多少，而且，更具体来说，这是一个回归问题。
回归一词指的是，我们根据之前的数据预测出一个准确的输出值，对于这个例子就是价格。

本例的训练集（Training Set）如下：

mmm：代表训练集中实例的数量
xxx：代表特征/输入变量
yyy：代表目标变量/输出变量
(x,y)(x,y)(x,y)：代表训练集中的实例
(x(i),y(i))(x^{(i)},y^{(i)})(x(i),y(i))：代表第iii个观察实例
hhh：代表学习算法的解决方法或函数，也称为假设(hypothesis)

本例中hhh是一个从xxx(房屋尺寸)到yyy(房屋价格)的函数映射：
hθ(x)=θ0+θ1xh_\theta(x)=\theta_0 + \theta_1xhθ​(x)=θ0​+θ1​x
因为只有一个特征/输入变量，因此这样的问题叫作单变量线性回归问题（Linear Regression with One Variable）。

2.2 代价函数（Cost Function）

如图：

mmm代表了训练样本的数量，比如m=47m=47m=47。

接下来需要做的便是为我们的模型选择合适的参数θ0\theta_0θ0​和θ1\theta_1θ1​，在房价问题的例子中便是在yyy轴上的截距和直线的斜率。
我们选择的参数决定了我们得到的直线相对于我们的训练集的准确程度，模型所预测的值与训练集中实际值之间的差距（下图中蓝线所指）就是建模误差（modeling error）。

我们的目标是：**选择出合适的模型参数，使得建模误差的平方和最小。**即使得代价函数：
J(θ0,θ1)=12m∑i=1m(hθ(x(i))−y(i))2J(\theta_0, \theta_1) = \frac{1}{2m}\sum_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})^2J(θ0​,θ1​)=2m1​i=1∑m​(hθ​(x(i))−y(i))2
最小。

代价函数也被称作平方误差函数，或平方误差代价函数。对大多数问题，特别是回归问题，平方误差代价函数是一个合理的选择。还有其他的代价函数也能很好地发挥作用，但是平方误差代价函数可能是解决回归问题最常用的手段了。

2.3 代价函数的直观理解I（Cost Function Intuition I）

Hypothesis:
hθ(x)=θ0+θ1xh_\theta(x)=\theta_0 + \theta_1xhθ​(x)=θ0​+θ1​x
Parameters:
θ0,θ1\theta_0 ,\theta_1θ0​,θ1​
Cost Function:
J(θ0,θ1)=12m∑i=1m(hθ(x(i))−y(i))2J(\theta_0, \theta_1) = \frac{1}{2m}\sum_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})^2J(θ0​,θ1​)=2m1​i=1∑m​(hθ​(x(i))−y(i))2
Goal:
minimizeθ0,θ1 J(θ0,θ1)\underset{\theta_0,\theta_1 }{minimize}\ J(\theta_0 ,\theta_1)θ0​,θ1​minimize​ J(θ0​,θ1​)

简化一下，假设θ0=0\theta_0=0θ0​=0，那么，
Hypothesis:
hθ(x)=θ1xh_\theta(x)= \theta_1xhθ​(x)=θ1​x
Parameters:
θ1\theta_1θ1​
Cost Function:
J(θ1)=12m∑i=1m(hθ(x(i))−y(i))2J(\theta_1) = \frac{1}{2m}\sum_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})^2J(θ1​)=2m1​i=1∑m​(hθ​(x(i))−y(i))2
Goal:
minimizeθ1 J(θ1)\underset{\theta_1 }{minimize}\ J(\theta_1)θ1​minimize​ J(θ1​)
对于下面左图中的三个样本点，代价函数的图形如下面右图所示，当θ1=1\theta_1=1θ1​=1时，代价函数minimizeθ1 J(θ1)=0\underset{\theta_1}{minimize}\ J(\theta_1)=0θ1​minimize​ J(θ1​)=0最小。

2.4 代价函数的直观理解II（Cost Function Intuition II）

通过代价函数J(θ0,θ1)J(\theta_0, \theta_1)J(θ0​,θ1​)的等高线图：

可以看出三维空间中存在一个使得J(θ0,θ1)J(\theta_0, \theta_1)J(θ0​,θ1​)最小的点。

2.5 梯度下降（Gradient Descent）

梯度下降是一个用来求函数最小值的算法。其背后的思想是：
开始时我们随机选择一个参数的组合(θ0,θ1,...,θn)(\theta_0,\theta_1,...,\theta_n)(θ0​,θ1​,...,θn​)，计算代价函数，然后寻找下一个能让代价函数值下降最多的参数组合，持续重复这个步骤，直到找到一个局部最小值（local minimum）。

因为我们没有尝试完所有的参数组合，所以不能确定我们得到的最小值是否为全局最小值（global minimum）。
选择不同的初始参数组合，可能会找到不同的局部最小值。

批量梯度下降（batch gradient descent）算法的公式为：
repeat until convergence{
θj:=θj−α∂∂θjJ(θ0,θ1)\qquad\theta_j:=\theta_j-\alpha\frac{\partial}{\partial\theta_j}J(\theta_0,\theta_1)\quadθj​:=θj​−α∂θj​∂​J(θ0​,θ1​)(for j=0j=0j=0 and j=1j=1j=1)
}
其中α\alphaα是学习率（learning rate），它决定了我们沿着能让代价函数下降程度最大的方向迈出的步子有多大。
每一次都同时让所有的（参数 - 学习率 x 代价函数对应参数的偏导数）

注意所有参数要同时更新：
Correct：Simultaneous update
temp0 :=θ0−α∂∂θ0J(θ0,θ1):=\theta_0-\alpha\frac{\partial}{\partial\theta_0}J(\theta_0,\theta_1):=θ0​−α∂θ0​∂​J(θ0​,θ1​)
temp1 :=θ1−α∂∂θ1J(θ0,θ1):=\theta_1-\alpha\frac{\partial}{\partial\theta_1}J(\theta_0,\theta_1):=θ1​−α∂θ1​∂​J(θ0​,θ1​)
θ0:=  \theta_0:=\;θ0​:=temp0
θ1:=  \theta_1:=\;θ1​:=temp1

2.6 梯度下降的直观理解（Gradient Descent Intuition）

θj:=θj−α∂∂θjJ(θ)\theta_j:=\theta_j-\alpha\frac{\partial}{\partial\theta_j}J(\theta)θj​:=θj​−α∂θj​∂​J(θ)
对θ\thetaθ赋值，使得J(θ)J(\theta)J(θ)按梯度下降最快的方向进行，一直迭代下去，最终得到局部最小值。

上图中红点处的切线斜率为正，也就是说函数在这个点有正导数，θ1\theta_1θ1​更新后等于其减去一个正数乘以α\alphaα。向左侧移动，代价函数J(θ1)J(\theta_1)J(θ1​)的值下降。
同理，在最低点左侧的点，切线斜率为负数，导数为负。θ1\theta_1θ1​更新后等于其减去一个负数（即加上一个正数）乘以α\alphaα。向右侧最低点靠近。

注意：
如果α\alphaα取值太小，那么到达最低点的速度会很慢。
如果α\alphaα取值太大，那么梯度下降法可能会越过最低点，可能无法收敛，甚至发散。

观察上图，由于α\alphaα是不变的，梯度下降后，新的导数会减小，所以移动的幅度会越来越小，直到最终移动幅度非常小，J(θ)J(\theta)J(θ)收敛到局部极小值。

梯度下降法可以用来最小化任何代价函数，而不止是线性回归中的代价函数。

2.7 梯度下降的线性回归（Gradient Descent For Linear Regression）

对前面的线性回归问题运用梯度下降法，关键在于求出代价函数的导数：
∂∂θjJ(θ0,θ1)=∂∂θj12m∑i=1m(hθ(x(i))−y(i))2\frac{\partial}{\partial\theta_j}J(\theta_0,\theta_1)=\frac{\partial}{\partial\theta_j}\frac{1}{2m}\sum_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})^2∂θj​∂​J(θ0​,θ1​)=∂θj​∂​2m1​i=1∑m​(hθ​(x(i))−y(i))2
当j=0j=0j=0时，求导结果：∂∂θ0J(θ0,θ1)=1m∑i=1m(hθ(x(i))−y(i))\frac{\partial}{\partial\theta_0}J(\theta_0,\theta_1)=\frac{1}{m}{\sum_{i=1}^{m}}\bigl(h_\theta(x^{(i)})-y^{(i)}\bigr)∂θ0​∂​J(θ0​,θ1​)=m1​i=1∑m​(hθ​(x(i))−y(i))
当j=0j=0j=0时，求导结果：∂∂θ1J(θ0,θ1)=1m∑i=1m((hθ(x(i))−y(i))⋅x(i))\frac{\partial}{\partial\theta_1}J(\theta_0,\theta_1)=\frac{1}{m}\sum_{i=1}^{m}\Bigl(\bigl(h_\theta(x^{(i)})-y^{(i)}\bigr)·x^{(i)}\Bigr)∂θ1​∂​J(θ0​,θ1​)=m1​i=1∑m​((hθ​(x(i))−y(i))⋅x(i))

则算法改写成：
repeat until convergence{
θ0:=θ0−α1m∑i=1m(hθ(x(i))−y(i))\qquad\theta_0:=\theta_0-\alpha\frac{1}{m}{\sum_{i=1}^{m}}\bigl(h_\theta(x^{(i)})-y^{(i)}\bigr)θ0​:=θ0​−αm1​∑i=1m​(hθ​(x(i))−y(i))
θ1:=θ1−α1m∑i=1m((hθ(x(i))−y(i))⋅x(i))\qquad\theta_1:=\theta_1-\alpha\frac{1}{m}\sum_{i=1}^{m}\Bigl(\bigl(h_\theta(x^{(i)})-y^{(i)}\bigr)·x^{(i)}\Bigr)θ1​:=θ1​−αm1​∑i=1m​((hθ​(x(i))−y(i))⋅x(i))
}
上面用到的算法有时也成为“批量梯度下降”，指的是在梯度下降的每一步中，我们都用到了所有的训练样本。即在每一次梯度下降时，微分求导项中都需要对所有m个样本求和。

后面会提到其他类型的梯度下降法，不考虑整个训练集，每次只关注训练集中的一些小的子集。
在数据量较大的情况下，梯度下降法比正规方程解法要更适用一些。