Hulu的推荐引擎阅读笔记
2012-04-22 10:56
253 查看
========
数据准备
========
一, Item Data
shows’ type:
on-air shows(直播剧)
library shows(普通剧情)
他们的重要性以及时域上的变化结构
其中直播剧很重要,占了一大部分流量,普通剧情也非常重要,到了夏天,周末,直播局的流量就会下降,普通剧就会上升。
二, User Data
implict:info of user watch, browsing, searching
explict:voting data
========
系统架构
========
User profile builder: historical behaviors and topics generate from old behavior,using topic model to generate the user topic
Recommendation Core: 推荐出所有的相似宝贝
Filtering: 去掉用户已经看了的
Ranking:重排序保证多样性和新奇性
Explanation:向用户解释自己推荐的原因
Data Center:存在hadoop集群和关系型数据库中
Related Table Generator:从两种的来:itemsCF和content-based(title, description, channel, company, actor/actress, and tags)
Topic Model:使用topic model来计算相似度,使用的是LDA 的topic model,聚类的数量小于频道数
Feedback Analyzer:降低那些推荐多次但是无人点击的,根据用户偏向于vote推荐和watch推荐来调节用户方面的参数
Report Generator:各种报表CTR,覆盖率
=====
算法
=====
r(u,j)是用户u对j的偏好,s(i,j)是(i,j)的相似程度
n(i)是看了i的用户集合
2. 给用户推荐用户的产品与用户以前看的流行的和不流行的分别相关的产品
2. 给推荐的结果洗牌
3. 降低用户已经看了多遍的show,提高ctr10%
========
性能分析
========
========
经验集锦
========
Every user behavior can reflect user preferences.
Every user behavior can reflect user preferences.
Recent behaviors are much more important than old behaviors
Novelty, Diversity, and offline Accuracy are all important factors
数据准备
========
一, Item Data
shows’ type:
on-air shows(直播剧)
library shows(普通剧情)
他们的重要性以及时域上的变化结构
其中直播剧很重要,占了一大部分流量,普通剧情也非常重要,到了夏天,周末,直播局的流量就会下降,普通剧就会上升。
二, User Data
implict:info of user watch, browsing, searching
explict:voting data
========
系统架构
========
一, 在线部分
User profile builder: historical behaviors and topics generate from old behavior,using topic model to generate the user topic
Recommendation Core: 推荐出所有的相似宝贝
Filtering: 去掉用户已经看了的
Ranking:重排序保证多样性和新奇性
Explanation:向用户解释自己推荐的原因
二, 离线部分架构:
Data Center:存在hadoop集群和关系型数据库中
Related Table Generator:从两种的来:itemsCF和content-based(title, description, channel, company, actor/actress, and tags)
Topic Model:使用topic model来计算相似度,使用的是LDA 的topic model,聚类的数量小于频道数
Feedback Analyzer:降低那些推荐多次但是无人点击的,根据用户偏向于vote推荐和watch推荐来调节用户方面的参数
Report Generator:各种报表CTR,覆盖率
=====
算法
=====
一, Item-based Collaborative Filtering:
r(u,j)是用户u对j的偏好,s(i,j)是(i,j)的相似程度
n(i)是看了i的用户集合
二, Recent Behavior:
用户最近的表现比以前的行为更重要,所以最近行为的打分更重要三, 新奇性:
1. 降低流行的产品2. 给用户推荐用户的产品与用户以前看的流行的和不流行的分别相关的产品
四, Explanation-based Diversity:
解释以后对那些看了10个以上show的用户是有帮助的五, Temporal Diversity:
1. 推荐最新的show,保持多样性2. 给推荐的结果洗牌
3. 降低用户已经看了多遍的show,提高ctr10%
========
性能分析
========
========
经验集锦
========
Every user behavior can reflect user preferences.
Every user behavior can reflect user preferences.
Recent behaviors are much more important than old behaviors
Novelty, Diversity, and offline Accuracy are all important factors
相关文章推荐
- Hulu的推荐引擎阅读笔记
- 非典型2D游戏引擎 Orx 源码阅读笔记(1) 总体结构
- 2015.8.16 [资料阅读]深入推荐引擎相关算法 - 协同过滤
- mahout in action推荐系统阅读笔记(5)
- mahout in action推荐系统阅读笔记(7)
- 中文推荐相关论文阅读笔记
- 非典型2D游戏引擎 Orx 源码阅读笔记(6) C语言实现的面向对象
- Android应用层源码阅读笔记--Application 推荐
- 推荐引擎笔记1
- 《Spark机器学习》笔记——基于MovieLens数据集使用SparkMLib机器学习库构建电影推荐引擎
- SIGIR 2017&2016 关于深度学习和推荐的相关文章摘要阅读笔记
- Js引擎解析执行 阅读笔记
- 非典型2D游戏引擎 Orx 源码阅读笔记(5) core部分(config,event)
- 非典型2D游戏引擎 Orx 源码阅读笔记(2) 基础模块与模块管理模块
- 推荐系统实践阅读笔记——第二章 利用用户的行为数据
- 阅读笔记-游戏开发中的人工智能-第8章-描述式AI及描述引擎
- 推荐系统实践阅读笔记——第三章 推荐系统的冷启动问题
- 推荐-计算机视觉、图像处理方面的论文阅读笔记
- 非典型2D游戏引擎 Orx 源码阅读笔记(3) 内存管理
- libgdx游戏引擎开发笔记(六)舞台、演员、动画综合讲解 推荐