《推荐系统实践》阅读笔记五 推荐系统的构成和评价标准

一 、推荐系统具体组成：

1. 收集用户信息行为记录模块。

2. 分析用户喜好模型模块，训练学习参数模块。

3. 用户匹配和推荐算法模块。

推荐引擎架构图：



二、推荐算法分类：

1. 协同过滤算法 2. 基于内容的推荐算法 3. 谱分析 4. 基于扩散的方法 5. 基于二分图的方法 6. 基于混合的推荐方法

三、推荐算法评测方式：

离线模式：

问题：1） 数据稀疏性限制了适用范围。 2） 评价结果的客观性，由于用户的主观性，不管离线的结果如何好都不能得出用户是否喜欢某推荐系统。3）难以找到离线评价指标和在线真实反馈（如点击率、转化率、点击深度、购买客单价、购买商品类别之间的关联关系。

在线模式：

常用的评测方法，A/B测试，必须是单变量（多方案并行测试、每个方案只有一个变量不同、以某种规则优胜劣汰）。

四、预测评分的标准

与车平分的准确度衡量的是算法预测的评分和用户的实际评分的贴近程度。

1. 基于排序加权的指标

1）半衰期效用指标

半衰期效用指标是在用户浏览商品的概率与该商品在推荐列表中的具体排序值呈指数递减的假设下提出的，它度量的是推荐系统对一个用户的适用性也是用户的真是评分和系统默认评分值得差别。








2）NDCG

用于衡量排序或者推荐的顺序。

首先DCG：





然后我们得到IDCG：首先要拿到搜索的结果，人工对这些结果进行排序，排到最好的状态后，算出这个排列下本query的DCG，就是首先要拿到搜索的结果，人工对这些结果进行排序，排到最好的状态后，算出这个排列下本query的DCG，就是IDCG。。

我们即可得到NDCG的计算公式为：





2. MAE MSE RMSE

用于衡量预测的误差：

MAE= Mean Average Error

MSE= Mean Squared Error

RMSE= Root Mean Squared Error

3. 预测评分关联

预测评分关联是用来衡量与测评分合用户真实的评分之间的相关性的，最常见的三种相关性指标分别为：Pearson积距相关、Spearman相关和Kendall's Tau。

Kendall's Tau相关系数：

Pearson相关系数：



Spearman相关系数：



Kendall's Tau相关系数：



AUC指标：ROC曲线（Receiver operator curve曲线）：
1）根据某一种推荐算法产生一个商品推荐列表
2）横坐标为不相关的比例，纵坐标为相关的比例。横纵坐标总长度为1，很坐标的以单位长度为1除以不相关的商品的数目，纵坐标的单位长度等于1除以相关的商品的数目。
3）按照相关性，将物品放到坐标之中，并且统计结果。

推荐系统评价标准概略图：



参考文献：
1. 推荐系统评价指标综述：http://wenku.baidu.com/link?url=Rd6-f7y92pE9lbrVyaH7cmqgr6NhKHQ1Rpx-mN0HdEKxXeF4W18uD6JOgMax3PjvTUy8bFhmb5HxLSD4tS1Ln40QRhCOxM5efh74IkidP1K