统计学习基础（第二版）两种简单的预测方法：最小二乘和最近邻

2.3两种简单的预测方法：最小二乘和最近邻

在本节中我们详细讨论两种简单但有效的预测方法，使用最小二乘线性模型拟合和k最近邻预测。线性模型对结构做了大量的假设，但是可能会产生不准确的预测。K-最近邻对结构做了适当的假设，所以预测通常是精确但不稳定的。



2.3.1线性模型和最小二乘

在过去的30年中，线性模型一直是统计学的支柱，而且现在依然是我们最重要的工具之一。给定一个输入向量

，通过以下模型来预测Y：



其中

是截距，在机器学习中又叫做偏置，通常在X中包含一个常数变量1，在系数向量

中包含

是方便的。这样向量形式的线性模型可以写成内积的形式：



其中

表示X的转置。这里是对单个输出建模，所以

是标量。一般来说

可以使K向量。所以β是p×K的系数矩阵。在（p+1）维输入-输出空间中，（X，

）表示一个超平面。如果X中包含常量，则超平面包含原点，并且它是一个子空间。如果X不包含常量，那么超平面就是一个仿射集，在Y轴与点（0，

）相交。现在我们假设截距包含在中。

假设是p维输入空间的函数，那么

是线性的，而梯度f’(X)=β是输入空间中的向量，指向上升最陡的方向。

那么我们如何用线性模型拟合训练数据集呢？有许多种
不同的方法，但目前为止最流行的是最小二乘。在这中方法下，我们选择系数β使残差平方和最小：



RSS(β)是参数的二次函数，所以最小值总是存在的，但可能不唯一。解用矩阵的形式最容易展现，上式可以写成：



其中X是N×p的矩阵，每行是一个输入向量，y是训练数据集中输出的N向量。我们对β微分，可以得到标准方程：



如果是非奇异的，则唯一解为：



证明如下（本人）：



并且第i个输入

的拟合值为

。在任意输入

上，预测是

。整个拟合面以p个参数

为特征。直观地，我们似乎不需要很大的数据来拟合这种类型。