推荐评价指标之AUC
2016-06-04 11:39
1136 查看
定义
AUC的英文名称为Area under the ROC curve,即为ROC曲线下的面积。ROC曲线一般被用来评价某种分类器的分类效果。Steffen Rendle在他的经典文章BPR1中就利用AUC来评价BPR算法的预测效果。公式
在BPR文章的评价方法中,作者使用了留一法(Leave one out)评价方法:即对每个用户,从他的评分记录中随机抽取一个评分记录放入测试集,剩下的评分记录作为训练集。然后基于训练集学习到模型,并在测试集上进行评价。评价指标平均AUC(针对所有用户的均值)公式为:AUC=1|U|∑u1|E(u)|∑(i,j)∈E(u)δ(x^ui>x^uj)
其中对于每个用户的评价Pair(评价组)为:
E(u):={(i,j)|(u,i)∈Stest∧(u,j)∉(Stest∪Strain)}
对于留一方法而言,每个用户的评价组数为1乘以既不在训练集又不在测试集中的产品个数。δ(b)是一个指示函数,当b为真时函数值为1否则为0。当某算法预测的x^ui大于x^uj时,记为1,否则为0。
显然更高的AUC表示更好的预测质量,随机猜测方法的AUC为0.5,最理想的预测方法的AUC为1。
应用举例
假设我们要测试某种推荐方法在一个用户商品交易记录上的推荐质量,评测指标使用AUC。用户ID | 商品ID |
---|---|
1 | 2 |
1 | 3 |
1 | 4 |
2 | 1 |
2 | 2 |
2 | 5 |
训练集
用户ID | 商品ID |
---|---|
1 | 2 |
1 | 3 |
2 | 1 |
2 | 2 |
用户ID | 商品ID |
---|---|
1 | 4 |
2 | 5 |
对于用户1:
δ(x^1,4>x^1,1)=1
δ(x^1,4<x^1,5)=0
对于用户2:
δ(x^2,5>x^2,3)=1
δ(x^2,5>x^2,4)=1
则预测算法S的AUC值为
AUC(S)=1+0+1+14=0.75
Rendle S, Freudenthaler C, Gantner Z, et al. BPR: Bayesian personalized ranking from implicit feedback[C]//Proceedings of the twenty-fifth conference on uncertainty in artificial intelligence. AUAI Press, 2009: 452-461. ↩
相关文章推荐
- The RecSys2015 conference之Top-N Recommendation for Shared Accounts总结评述
- 推荐系统中常见的几种相似度计算方法和其适用数据
- 总结一下我所设想的推荐引擎怎么做
- 一种简单有效的个性化推荐方法
- 信息检索(IR)的评价指标介绍-准确率、召回率、F1、mAP、ROC、AUC
- 信息检索Information Retrieval评价指标
- TimeSVD++:动态协同过滤推荐算法
- 准确率,召回率和F1值
- 个性化推荐基本算法及源码分析(一)— 基于用户的协同过滤
- Unifying User-Based and Item-Based Collaborative Filtering Approaches by Similarity Function 译文与j...
- 数据中心能效定量评价指标
- 个性化推荐技术攻略
- 《推荐系统实践》读书总结--个性化推荐系统的概念和应用
- 聊聊淘宝天猫个性化推荐技术演进史
- 推荐系统实践学习笔记(一)
- 检索系统评价指标
- LDA在资讯推荐的应用
- 如何直观理解AUC评价指标?
- 使用文本挖掘实现站点个性化推荐
- 分类算法中的ROC与PR指标