吴恩达机器学习笔记 1单变量线性回归

机器学习

（小白通俗理解)

机器学习包括监督学习和无监督学习

监督学习 首先，监督学习，我们所给的数据集由正确答案组成，计算机根据正确数据集对未知样本进行结果预测 无监督学习 无监督学习，所给数据集并没有正确答案，计算机会自己给数据进行分析分类，将数据分成不同的簇，因而常涉及聚类算法

实例：预测房价，通过已有数据集（包含有该市的住房价格），我们根据不同的房屋尺寸的价格来建造数据模型，预测得到所需要的大概价格，这是一个回归问题

课程中自定义字母含义
m:训练样本的数量
x:输入变量或者特征
y:表示输出变量即训练的目标变量
(x,y):表示一个训练样本
(x(i),y(i)):表示特定训练样本，上标i表数据集索引，表格中第i行
h:一个假设函数，给出x，h作为引导输出y
:=表赋值运算符 =表示真假判定
3.基础模型，线性回归（单变量线性回归）
线性假设函数
h表示一个函数，x是房屋尺寸的大小，根据输入所要预测的房屋尺寸x来得到y值，因此表示为
hθ=θ0+θ1xh_\theta=\theta_0+\theta_1xhθ​=θ0​+θ1​x
只有一个变量，故称为单变量线性回归问题

4.代价函数(又称平方误差函数)
我们的目标是根据已有的x,y拟合出一个函数，使所得函数可以更准确的预测给定x下的y值，即寻求对应的θ0\theta_0θ0​和θ1\theta_1θ1​，使得所得预测值与实际值误差的平方最小
因而问题转化为求解代价函数
minimizeθ0θ1=12m∑i=1m(hθ(x(i))−y(i))2minimize\theta_0\theta_1=\frac{1}{2m}\sum_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})^2minimizeθ0​θ1​=2m1​∑i=1m​(hθ​(x(i))−y(i))2
即
J(θ0,θ1)=12m∑i=1m(hθ(x(i))−y(i))2 J(\theta_0,\theta_1)=\frac{1}{2m}\sum_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})^2 J(θ0​,θ1​)=2m1​i=1∑m​(hθ​(x(i))−y(i))2
即为求θ0\theta_0θ0​和θ1\theta_1θ1​，使minimizeJ(θ0,θ1)minimizeJ(\theta_0,\theta_1)minimizeJ(θ0​,θ1​)

代价函数又称为平方误差函数，有时也被称为平方误差代价函数。平方误差代价函数，对于大多数问题，特别是回归问题，都有一个合理的选择，其他的代价函数也会有很好的作用，但是平方误差代价函数是解决回归问题的最常用手段。

5.梯度下降算法 (gradient descent algorithm)（可以用来最小化任何代价函数）又叫"batch"gradient descent定义：

思想：开始随机选择参数组合，计算代价函数，然后寻找能让代价函数值下降最多的参数集合，持续做直到得到局部最小值。由于没有尝试所有参数组合，故不能确定所得局部最小值是否为全局最小值。

方法：重复直到收敛（repeat until convergence）
θj:=θj−αδδθjJ(θ0,θ1)\theta_j:=\theta_j-\alpha\frac{\delta}{\delta\theta_j}J(\theta_0,\theta_1)θj​:=θj​−αδθj​δ​J(θ0​,θ1​) (for j=0 and j=1)
α\alphaα是一个被称为学习率的数字

学习率决定代价函数下降程度最大的方向向下迈出的步子有多大，每一次更新都同时让所有的参数减去学习率乘以代价函数的导数

注意要同步更新(simultaneous update)
temp0:=θ0−αδδθ0J(θ0,θ1)temp0:=\theta_0-\alpha\frac{\delta}{\delta\theta_0}J(\theta_0,\theta_1)temp0:=θ0​−αδθ0​δ​J(θ0​,θ1​)
temp1:=θ1−αδδθ1J(θ0,θ1)temp1:=\theta_1-\alpha\frac{\delta}{\delta\theta_1}J(\theta_0,\theta_1)temp1:=θ1​−αδθ1​δ​J(θ0​,θ1​)
θ0:=temp0\theta_0:=temp0θ0​:=temp0
θ1:=temp1\theta_1:=temp1θ1​:=temp1
(注意顺序必须是这样，否则做不到同步如：
temp0:=θ0−αδδθ0J(θ0,θ1)temp0:=\theta_0-\alpha\frac{\delta}{\delta\theta_0}J(\theta_0,\theta_1)temp0:=θ0​−αδθ0​δ​J(θ0​,θ1​)
θ0:=temp0\theta_0:=temp0θ0​:=temp0 这里将θ0\theta_0θ0​更新后，下面更新θ1\theta_1θ1​式子里的θ0\theta_0θ0​已经变化，因此做不到同步更新
temp1:=θ1−αδδθ1J(θ0,θ1)temp1:=\theta_1-\alpha\frac{\delta}{\delta\theta_1}J(\theta_0,\theta_1)temp1:=θ1​−αδθ1​δ​J(θ0​,θ1​)
θ1:=temp1\theta_1:=temp1θ1​:=temp1)

6.第一个机器学习算法（梯度下降的线性回归算法）
现在将梯度下降算法应用于线性回归去最小化平方差代价函数
对于线性回归的平方差代价函数(即对该代价函数求偏导数进一步化简得如下)
θ0:=θ0−α1m∑i=1m(hθ(x(i))−y(i)) \theta_0:=\theta_0-\alpha\frac{1}{m}\sum_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)}) θ0​:=θ0​−αm1​i=1∑m​(hθ​(x(i))−y(i))
θ1:=θ1−α1m∑i=1m(hθ(x(i))−y(i)) \theta_1:=\theta_1-\alpha\frac{1}{m}\sum_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)}) θ1​:=θ1​−αm1​i=1∑m​(hθ​(x(i))−y(i))