机器学习 —— 性能度量和比较检验、模型评估方法

性能度量

回归任务最常用的性能度量是“均方误差”

错误率和精度

错误率：分类错误的样本数占样本总数的比例

精度：分类正确的样本数占样本总数的比例

预测类别

类别	说明
TP真正例	预测为1，实际为1的样本
TN真反例	预测为0，实际为0的样本
FP假正例	预测为1，实际为0的样本
FN假反例	预测为0，实际为1的样本

P-R曲线

1、纵轴为查准率，横轴为查全率

2、查准率：即预测结果中真正的正例的比例，P=TP/(TP+FP)

3、查全率，即所有正例中被正确预测出来的比例，R=TP/(TP+FN)

4、F1度量，F1=2*P*R/(P+R）

5、平衡点BEP，即查准率=查全率

ROC曲线

1、纵轴是真正例率

2、横轴是假正例率

3、AUC是ROC曲线包围的面积

代价曲线

1、ROC曲线上的每个点转化为代价平面上的一条线段

2、是从点（0，FPR）到点（1，FNR）的一条线段

比较检验

1、可根据测试错误率估推出泛化错误率的分布

2、1-α反应了结论的“置信度”

3、若测试错误率小于临界值，则表示：在α的显著度下，能以1-α的置信度认为，学习器的泛化错误率不大于ε0

4、若测试错误率大于或等于临界值，则表示：在α的显著度下，学习器的泛化错误率大于ε0

模型评估方法

基本思路：使用一个“测试集”来测试学习器对新样本的判别能力，测试集应尽可能与训练集互斥

留出法

1、把数据集D划分为两个互斥的集合，其中一个是训练集，一个是测试集。

2、训练集需约占66.6%~80%。

交叉验证法

将数据集D划分为k个大小相同的互斥的子集，然后用k-1个子集作为训练，剩下那一个子集作为测试。这样就需要训练k个模型，得到k个结果，再取平均即可。这样的方法通常称为“k折交叉验证”。

自助法

1、自助法主要是用于小样本。

2、缺点是容易引入估计偏差。

3、自助法又称为可重复采样，有放回采样。对于m个样本的数据集D，每次随机挑选D中的一个样本放到D’中，挑m次，经过计算D中有大约36.8%（≈1/e）的样本未出现在D’中，这样用D’作为训练集，D\D’（“\”表示集合减法）作为测试集。