机器学习的模型评估与选择

1. 经验误差与过拟合

损失函数

用来度量预测值与实际值之间的误差. 记作L(Y,f(X)). 常用的有

0-1 损失

,

平方损失

,

绝对值损失

对数损失

等.

经验风险

经验风险, empirical risk.就是模型在训练集上的平均误差,

Remp(f)=1N∑L(yi,f(xi))

经验风险最小化, 就是训练模型中要求的最优化问题.

结构风险

当样本量较小时, 经验风险最小化的学习效果未必很好, 于是提出了结构风险最小化的策略.

结构风险, structural risk, 在经验风险基础上增加了表示模型复杂度的正则化项(regularizer).

Rsrm(f)=Remp(f)+λJ(f)

其中J(f)为模型复杂度, 是定义在假设空间F上的泛函.λ≥0是系数, 用于权衡经验风险和模型复杂度.

2.训练误差与测试误差

当损失函数给定时, 该模型的训练误差(training error)与测试误差(test error)就容易求得.

3. 参数与超参数

Parameter vs. HyperParameter

Parameter

神经网络中的偏置与权重矩阵等, 这列参数是需要通过不断的学习来调整的.

HyperParameter

与模型的结构相关, 不是通过学习而得来的. 比如神经网络中的 隐层个数及每层节点数.

4. 评估方法

4.1 自助法

自助采样法,bootstrap sampling.

原始数据集为D, 样本数为m. 有放回随机抽样m次得到D′, 它就是自助采样的结果. 显然, D中一部分样本会在D′中多次出现, 而另一部分样本不出现.

样本在m次采样中, 始终不被采到的概率是(1−1m)m,取极限得到

limm→∞(1−1m)m=1e≈0.368(2-1)

即通过自助采样, D中约有36.8%的样本从未出现在D′中.