关键词推荐系统架构
2013-10-14 16:20
176 查看
在百度做关键词推荐系统3年多, 以前更多是从工程, 以及解决用户需求的角度去考虑系统的实现。 大概一年前开始系统地学习业界推荐系统相关的内容并对照自己手头的工作。 当时就画了以下系统结构图, 算是对百度关键词系统(KR: Keyword Recommendation)中主动推荐(主动push结果给客户)的一个总结。
系统逻辑图如下:
qiang
当中包含以下几个重要步骤:
离线的数据挖掘: 根据广告库,客户landingpage内容, 网名检索query等数据,建立关键词之间的关系。 这块能做的工作非常多,包括建立关键词之间的商业价值关系,等同相关性等。很多任务都是offline的, 在hadoop上进行挖掘。
关键词候选集索引建立:当这些关系建立后,就将这些关系数据建立索引加入线上系统,而且经常会提前做结构化的预处理以提升线上处理效率。
user profile建立:根据用户提词反馈, 包括显式的反馈,包括对关键词的正/负向评估以及隐式反馈(通过KR,或者通过其他途径提交了关键词),以及用户的注册信息,Landingpage等构建用户user profile
结果触发:当用户访问KR时,首先根据离线挖掘的各种关系数据进行触发, 得到关系数据的大量候选。之后结合user profile进行过滤
ranking: 该处的ranking较为负责, 可以分别对采用率, <userid, keyword>的pair的效用,使用模型进行预估, 之后综合加权。 此处的效用, 可以根据具体场景的不同而做定制。
业务逻辑的ranking(Marketing Rule):相较于上边提到的纯算法策略的ranking,有时也需要根据具体产品的出口, 场景等因素, 使用规则对结果进行reranking, 以满足业务需求(此处未在上图中体现)
当然真实系统并不是上述内容就能说清的, 例如线下数据挖掘,就会用到二步图, 全关系PageRank, 关联规则等多种方式进行挖掘。 触发时也需要考虑各种同意,核心等的变换, ranking时使用机器学习方法结合业务规则综合排序。 更多细节可以参考后续推荐系统相关文章。
更多内容可关注微博:weibo.com
或是直接访问: http://semocean.com
系统逻辑图如下:
qiang
当中包含以下几个重要步骤:
离线的数据挖掘: 根据广告库,客户landingpage内容, 网名检索query等数据,建立关键词之间的关系。 这块能做的工作非常多,包括建立关键词之间的商业价值关系,等同相关性等。很多任务都是offline的, 在hadoop上进行挖掘。
关键词候选集索引建立:当这些关系建立后,就将这些关系数据建立索引加入线上系统,而且经常会提前做结构化的预处理以提升线上处理效率。
user profile建立:根据用户提词反馈, 包括显式的反馈,包括对关键词的正/负向评估以及隐式反馈(通过KR,或者通过其他途径提交了关键词),以及用户的注册信息,Landingpage等构建用户user profile
结果触发:当用户访问KR时,首先根据离线挖掘的各种关系数据进行触发, 得到关系数据的大量候选。之后结合user profile进行过滤
ranking: 该处的ranking较为负责, 可以分别对采用率, <userid, keyword>的pair的效用,使用模型进行预估, 之后综合加权。 此处的效用, 可以根据具体场景的不同而做定制。
业务逻辑的ranking(Marketing Rule):相较于上边提到的纯算法策略的ranking,有时也需要根据具体产品的出口, 场景等因素, 使用规则对结果进行reranking, 以满足业务需求(此处未在上图中体现)
当然真实系统并不是上述内容就能说清的, 例如线下数据挖掘,就会用到二步图, 全关系PageRank, 关联规则等多种方式进行挖掘。 触发时也需要考虑各种同意,核心等的变换, ranking时使用机器学习方法结合业务规则综合排序。 更多细节可以参考后续推荐系统相关文章。
更多内容可关注微博:weibo.com
或是直接访问: http://semocean.com
相关文章推荐
- 简单讨论火车票系统后面的架构设计 推荐
- 系统架构书籍推荐
- 大规模高并发Web系统架构及开发书籍推荐
- 实战智能推荐系统(14)-- 推荐系统架构
- DotNET企业架构应用实践-企业管理软件架构的历史与发展(中)- 分布式系统 推荐
- 系统架构推荐专题文章及书籍-会持续更新
- 优酷土豆实时推荐系统架构升级实践
- 实战智能推荐系统(14)-- 推荐系统架构
- 级联二步图关系挖掘关键词推荐系统及实现代码
- 推荐系统的架构
- 系统架构升级建议书(1) 推荐
- 【系统设计】“查询推荐好友”服务在不同架构风格下如何设计?
- Hadoop入门之推荐系统架构简单解析
- Netflix公布个性化和推荐系统架构
- 实战智能推荐系统(14)-- 推荐系统架构
- 使用NDCG评估关键词推荐系统的相关性
- 系统架构推荐专题文章及书籍-会持续更新
- [跟我学中小企业架构部署]之七:监控系统cacti部署 推荐
- 推荐系统架构