机器学习-代价函数 I

什么是cost function? intuition。



图一

这里我们有假设函数hΘ(x)和其对应的代价函数J(Θ0, Θ1)，我们的目标是使J(Θ0,
Θ1)取得最小值，为了更加直观的阐述什么是代价函数，我们让Θ0等于0，实际上模型参数的第一个一般都为0或者为1，在优化问题上，我们总是可以将它忽略不计，所以我们将上图简化为：



图二

这里需要弄懂的是两个函数，一个是假设函数hΘ(x)和代价函数J(Θ1)，并且它们之间的关系是什么。

我们假设当Θ1=1时，的图像会是像下图这样，并且我们有三个样本点（训练集）分别是（1，1），（2，2），（3，3）



图三

然后会得到J(Θ1)：



图四

于是我们得到一个在另一个坐标上的点 （Θ1，J(Θ1)），当Θ1=1时，J(Θ1)=0，所以有（1，0），我们把这个点在坐标上标出。



图五

到这里我们可以知道，Θ1的取值可以影响J(Θ1)的值，然后我们想，如果Θ1≠1，而是Θ1=0.5呢？此时图三将会变为



实际上观察J(Θ1)可以知道，J(Θ1)实际上做的事情，就是计算有如下图所有蓝色部分相加的平方，就是样本点到直线对应的点的距离的平方，这就是为什么代价函数J(Θ)可以用于衡量模型与样本点的拟合度，因为它总表示为，样本点与模型之间的距离。如果总体距离的和越小，我们就可以认为，该Θ1下的hΘ(x)与所有样本，总体上最接近，记住，是总体上。



重复上述的算法我们一样可以得到另外一个点（Θ1，J(Θ1)），就是（0.5， 0.68），然后这个点在坐标轴上表示为


同理我们可以得到当Θ1=0时，



最后通过选择不同的Θ1值，我们可以得到下面的图像。



这个图像就像是二次函数，我们知道，当Θ1=1时，J(Θ1)最小，所以模型：y=x最能代表样本点，而后当有一个不在样本中的x出现，需要预测它的y时，就把x赋予y=x，从而求出y。

这是一维问题，即x仅代表一个特征（房子大小）的时候，如果是多维问题，即x是个向量，比如：x=(x1，x2，x3，x4，x5，x6，......)时，可能x1代表房子大小，x2代表户型等等，相对应的Θ也将会是多维的，Θ=(Θ1，Θ2，Θ3，Θ4，Θ5，Θ6，......）（两者的维数并没有绝对对应关系）。但是代价函数的公式和其表达的含义是一样的，不管是一维还是多维，我们都能够以，求所有样本点与模型之间距离最小为目的，从而找出模型的Θ。之后我们会讲述如果求有一维或者多维特征的问题Θ和代价函数的最小值。