Spark-构建基于Spark的推荐引擎

推荐引擎

推荐引擎就是是预测人们可能喜好的物品并通过探寻物品之间的联系来辅助这个过 程。从这点上来说，它同样也做预测的搜索引擎互补。但与搜索引擎不同，推荐引擎试图向人 们呈现的相关内容并不一定就是人们所搜索的，其返回的某些结果甚至人们都没听说过。推荐引擎试图对用户与某类物品之间的联系建模。比如上一个博客案 例中，我们使用推荐引擎来告诉用户有哪些电影他们可能会喜欢。如果这点做得很好，就能吸引 用户持续使用我们的服务。这对双方都有好处。同样，如果能准确告诉用户有哪些电影与某一电 影相似，就能方便用户在站点上找到更多感兴趣的信息。这也能提升用户的体验、参与度以及站 点内容对用户的吸引力。

实际上，推荐引擎的应用并不限于电影、书籍或是产品。

推荐引擎很适合如下两类常见场景（两者可兼有）。

可选项众多

可选的物品越多，用户就越难找到想要的物品。如果用户知道他们想要什 么，那搜索能有所帮助。然而最适合的物品往往并不为用户所事先知道。这时，通过向 用户推荐相关物品，其中某些可能用户事先不知道，将能帮助他们发现新物品。

偏个人喜好

当人们主要根据个人喜好来选择物品时，推荐引擎能利用集体智慧，根据 其他有类似喜好用户的信息来帮助他们发现所需物品。

任务：

 使用上述模型来为用户进行推荐和求指定物品的类似物品（即相关物品）；

 应用标准的评估指标来评估该模型的预测能力。

推荐模型的分类

基于内容的过滤

协同过滤

代码

提取有效特征

训练推荐模型

使用推荐模型

推荐模型效果的评估

代码：github.com/jinhang