统计学习方法 第1章 概论

1、统计学习三要素：模型、策略、算法。

1.1 模型就是所要学习的条件概率分布或决策函数。

模型的假设空间、输入空间、输出空间、参数空间

决策函数模型

F={f|Y=f(X)}F={f|Y=fθ(X),θ∈Rn}

概率模型

F={P|P(Y|X)}条件概率的集合F={P|Pθ(Y|X),θ∈Rn}条件概率分布族

1.2 策略：按照什么样的准则学习选择最优的模型

损失函数(loss/cost function)：度量模型一次预测的好坏；L(Y,f(X))

风险函数：度量平均意义下模型预测的好坏。

常用的损失函数：

（1）0-1损失函数：

L(Y,f(X))={1,0,Y≠f(X)Y=f(X)

（2）平方损失函数：

L(Y,f(X))=(Y−f(X))2

（3）绝对损失函数：

L(Y,f(X))=|Y−f(X)|

（4）对数损失函数（是用于最大似然估计的）

L(Y,f(X))=−log(P(Y|X))

期望风险、经验风险

经验风险最小化、结构风险（经验风险和模型复杂度）最小化

1.3算法：统计学习基于训练数据集，根据学习策略，从假设空间中选择最优模型，最后需要考虑用什么样的方法求解最优模型。

2 模型评估与模型选择

训练误差、测试误差（预测/泛化能力）

模型空间含义不同复杂度的模型时

过拟合

常用的模型选择方法：正则化和交叉验证

2.1 正则化

结构风险最小化策略，在经验风险上加一个正则化项或罚项

2.2 交叉验证

随机地将训练集分为：训练集、验证集和测试集。

训练集：模型训练；

验证集：模型选择；

测试集：最终对学习方法的评估。

3 监督学习(生成方法/判别方法；生成模型/判别模型)

3.1 分类问题

输出变量Y是有限个离散值

学习、分类两个过程



3.2 标注问题

3.3 回归问题