您的位置：首页 > 其它

吴恩达机器学习课程笔记——Ch2 单变量线性回归

2019-01-18 13:46 295 查看

Chapter 2 单变量线性回归(Linear Regression with One Variable)

课程笔记总览传送门：https://www.geek-share.com/detail/2758707282.html

Ch2

2.1 模型表示

2.2 Cost Function（代价函数）

2.3 Gradient descent（梯度下降）

小结

2.1 模型表示

一元回归没啥可说的，下图上半部分就是一个一元线性回归函数，下半部分顺便回顾了监督学习的概念。

监督学习回顾

值得注意的是一些参数的标定问题：

一些参数的标定

m——训练样本的数量如：

$x^{(i)}$ ——特征/输入变量 $x^{(1)}$ = 2104

$y^{(i)}$ ——目标变量/输出变量 $y^{(1)}$ = 460

（ $x^{(i)}$ ， $y^{(i)}$ ）——第i个观察实例（ $x^{(1)}$ ， $y^{(1)}$ ）= （2104，460）

一元线性回归模型流程图

如上图可知，一元线性回归的一般方程为： $h_{\theta }(x)=\theta _{0}x + \theta_{1}x$ [可简化成h(x)]

这里还解释了一下为什么会用 h 作为函数表达的形式。

2.2 Cost Function（代价函数）

什么是代价函数呢，看图(这里 $\theta_{0}$ = 0)。

三根蓝线代表回归函数的值 $h_{\theta}(x^{(i)})$ 和实际观测样本 $y^{(i)}$ 的误差，而代价函数 $J(\theta_{0},\theta_{1})$ 就是所有误差（ $h_{\theta}(x^{(i)})$ - $y^{(i)}$ ）的平方的和再除以2倍样本数。公式为：

$J(\theta_{0},\theta_{1})=\tfrac{1}{2m}\sum ^{m}_{i=1}(h_{\theta}(x^{i})-y^{(i)})^{2}= \tfrac{1}{2m}\sum ^{m}_{i=1}(\theta_{0}+\theta_{1}x^{(i)}-y^{(i)})^{2}$

和最小二乘法的概念几乎一样，不同仅在于为了方便计算除以的2m。

接下来，为了更进一步了解代价函数的问题，令常数项 $\theta_{0}$ = 0 ：

左图，三条过原点的直线分别对应不同 $\theta_{1}$ 的取值的 $h_{\theta1}(x)$ ，三个红叉代表观测值 $y^{(i)}$ ,黑的竖线代表误差（ $h_{\theta1}(x^{(i)})$ - $y^{(i)}$ ）

右图，黑叉代表不同 $\theta_{1}$ 取值下的代价函数 $J(\theta_{1})$ 的值。

以 $\theta_{1}=1$ 为例， $h_{\theta1}(x)$ 完美经过三个观测点，即误差为0，因此 $J(\theta_{1})$ 也为0，对应右图的（1，0）点；

以 $\theta_{1}=0.5$ 为例， $h_{\theta1}(x)$ 与观测点有误差，因此经过计算 $J(\theta_{1})$ 也有对应的值，即右图的（0.5， $J(\theta_{1})$ ）点；

......

取无穷个 $\theta_{1}$ 的值，就会有无穷个误差，也会有无穷个 $J(\theta_{1})$ 值。而无穷个 $J(\theta_{1})$ 构成的函数就是Cost Function(代价函数)→右图，需要注意的是，这里常数项 $\theta_{0}$ = 0。

那么，说了这么多，Cost Function的意义是什么呢。意义是：通过改变 $\theta_{1}$ 的取值，找出 $J(\theta_{1})$ 最小的值，从而得到误差最小，拟合程度最高的，即满足 $min_{(\theta_0,\theta_{1})}J(\theta_{0},\theta_{1})$ 的回归模型（这里指一元、没有常数项的回归模型）。再偷偷换一下概念，这个过程就是找最小值。