Andrew Ng 机器学习笔记 05 ：特征的选择和多项式回归

特征的选择

以预测房价为例，假设你有两个特征，分别是房子临街的宽度(frontage)和垂直宽度(depth)，你可能会建立一个像这样的线性回归模型：

hθ(x)=θ0+θ1×frontage+θ2×depthhθ(x)=θ0+θ1×frontage+θ2×depth

实际上，可以创造一个新的特征xx，它是临街宽度与纵深的乘积：

x=frontage×depthx=frontage×depth

hθ(x)=θ0+θ1xhθ(x)=θ0+θ1x

有时通过定义新的特征，你会得到一个更好的模型。

多项式回归

假设有这样一个住房价格的数据集：



为了拟合它，可能会有多个不同的模型供选择。因为直线似乎并不能很好地拟合这些数据，因此也许你会想到用这样的二次模型去拟合数据：

θ0+θ1x+θ2x2θ0+θ1x+θ2x2

但是二次函数最终会降回来，而我们并不认为房子的价格在高到一定程度后会下降回来，因此也许我们可能转而选择使用一个三次函数：

θ0+θ1x+θ2x2+θ3x3θ0+θ1x+θ2x2+θ3x3

我们用这个三次函数进行拟合，我们可能得到这样的模型（绿线部分）



做一个简单的修改来实现它：

hθ(x)=θ0+θ1x+θ2x2+θ3x3hθ(x)=θ0+θ1x+θ2x2+θ3x3

=θ0+θ1(size)+θ2(size)2+θ3(size)3=θ0+θ1(size)+θ2(size)2+θ3(size)3

x1=(size)x1=(size)

x2=(size)2x2=(size)2

x3=(size)3x3=(size)3

x1,x2,x3x1,x2,x3这三个特征的范围有很大的不同，因此，如果要使用梯度下降法，应用特征值的归一化是非常重要的，这样才能将他们的值的范围变得具有可比性。
除了建立一个三次模型以外，另外一个合理的选择的例子是：

hθ(x)=θ0+θ1(size)+θ2(size)−−−−−√hθ(x)=θ0+θ1(size)+θ2(size)

这种函数曲线看起来趋势是上升的，但慢慢变得平缓一些，而且永远不会下降回来：