机器学习笔记_回归_4: 最小二乘的改进(1)

局部加权回归

岭回归(ridge regression)RR（稀疏矩阵）

针对多重共线性 |XTX|≈0|X^TX| \approx0:β^=(XTX+kI)−1XTy:\quad\hat{\beta}=(X^TX+kI)^{-1}X^Ty

k:岭参数k: 岭参数=>得到β\beta参数的估计族

有偏估计

岭迹： 参数 k在（0，+∞），则β^是k的参数，所有曲线是岭迹k在（0，+\infty ），则\quad\hat{\beta}是k的参数，所有曲线是岭迹

k的选择(MSE(β^)MSE(\hat{\beta})最小)

PCR和偏最小二乘

补充内容：

Shrinkage Methods

岭回归

岭回归的求解<=><=>

β^ridge=argminβ{∑i=1N(yi−β0−∑j=1pxijβj)2+λ∑j=1pβ2j}\hat{\beta}^{ridge}=argmin_{\beta}\{\sum\limits_{i=1}^{N}(y_i-\beta_0-\sum\limits_{j=1}^{p}x_{ij}\beta_j)^2+\lambda\sum\limits_{j=1}^{p}\beta_j^2\}

λ:岭参数\lambda: 岭参数

β^=(XTX+λI)−1XTy和β=(XTX)−1XTy\quad\hat{\beta}=(X^TX+\lambda I)^{-1}X^Ty \quad 和 \quad{\beta}=(X^TX)^{-1}X^Ty

若x的列正交则XTX=IX^TX=I =>

β^ridge=βj^1+λ\hat{\beta}^{ridge}=\frac{\hat{\beta_j}}{1+\lambda}

岭回归将系数缩小

Lasso

在rr的基础上可以选择变量

RR等价于求解

β^ridge=argminβ{∑i=1N(yi−β0−∑j=1pxijβj)2+λ∑j=1pβ2j}\hat{\beta}^{ridge}=argmin_{\beta}\{\sum\limits_{i=1}^{N}(y_i-\beta_0-\sum\limits_{j=1}^{p}x_{ij}\beta_j)^2+\lambda\sum\limits_{j=1}^{p}\beta_j^2\}

Lasso等价于

β^lasso=argminβ{∑i=1N(yi−β0−∑j=1pxijβj)2+λ∑j=1pβj}\hat{\beta}^{lasso}=argmin_{\beta}\{\sum\limits_{i=1}^{N}(y_i-\beta_0-\sum\limits_{j=1}^{p}x_{ij}\beta_j)^2+\lambda\sum\limits_{j=1}^{p}\beta_j\}

=>=>

β^lasso=argminβ{∑i=1N(yi−β0−∑j=1pxijβj)2}\hat{\beta}^{lasso}=argmin_{\beta}\{\sum\limits_{i=1}^{N}(y_i-\beta_0-\sum\limits_{j=1}^{p}x_{ij}\beta_j)^2\}

subject.to. λ∑j=1p|βj|≤t\quad \lambda\sum\limits_{j=1}^{p}|\beta_j| \leq t

关于lasso和RR的贝叶斯观点