2.8 Classes of Restricted Estimators

根据所加限制的不同，可以将模型分为以下几类

RSS+Roughness penalty

$PRSS(f;\lambda)=RSS(f)+\lambda J(f)$

其中$J(f)$为对函数$f$的penalty，先验知识

Kernal+Local Regression

Kernal函数用于指定某邻居区域

$K_\lambda(x_0,x)=\frac{1}{\lambda}exp\left[-\frac{{||x-x_0||}^2}{2\lambda}\right]$

$\lambda$越小，离$x_0$远的点，权重就越小，即表示小的邻居区域

KNN中k近邻也可以理解为Kernal函数

Local regression函数，主要是一些简单函数，如：

$f_{\theta}(x)=\theta_0$，常数，可以看成是KNN中使用的邻居区域函数

$f_{\theta}(x)=\theta_0+\theta_1x$

Basis Function+linear combination

$f_{\theta}(x)=\sum_i^M \theta_m h_m(x)$

$h_m(x)$为basis function，也叫dictionary methods