回归-普通最小二乘法(OLS)解析式推导

导语

上一篇文章中解释了最小二乘损失函数的由来，本篇将继续向下推导，即系数W的推导。

前置知识

里面用到了几个常见的与矩阵相关的求导公式

∂Xθ∂X=XT

∂θTX∂θT=XT

∂θTX∂θ=X

关于上述公式的证明，这里不再赘述，可以严格参考向量求导的公式进行推理

推导

上篇文章中我们定义了损失函数为：

J(θ)=12∑i=1m(θT∗x(i)−y(i))2

J(θ)=12(Xθ−y⃗ )T(Xθ−y⃗ )

X是样本矩阵，y⃗ 是观测值列向量

我们将上述h(θ)拆开，得到：

J(θ)=12(θTXTXθ−θTXTy⃗ −y⃗ TXθ+y⃗ Ty⃗ )

由于h(θ)是凸函数，若要h(θ)取得极小值，则将其对θ求导，得到：

∇θJ(θ)=12(XTXθ+XTXθ−2XTy⃗ )=XTXθ−XTy⃗

令∇θJ(θ)=0，解得:

θ=(XTX)−1XTy⃗

至此，θ的解析式求出。在实践中，XTX矩阵的逆通常并不好求，甚至根本不能求逆，一种办法是使用岭回归，加入λI来使其可逆，或者使用梯度下降的方法迭代求参，关于梯度下降将在下一篇文章中进行阐述。