itemKNN发展史----推荐系统的三篇重要的论文解读
2017-06-04 23:43
1461 查看
itemKNN发展史----推荐系统的三篇重要的论文解读
本文用到的符号标识
1、Item-based CF
基本过程:
- 计算相似度矩阵 Cosine相似度
- 皮尔逊相似系数
根据用户项目交互矩阵 \(A\) 计算相似度矩阵 \(W\):
这样,用户对整个项目列表的偏好值可以如下计算:
\[{ {\tilde a_i}^T}={ a_i^T} \times W\]
例如,对于 j 号物品,用户的偏好值如此计算:
\[{ {\tilde a_{(u,j)}}}=\sum_{i\in { a_u^T}}{ { a_{(u,i)}}}W_{(i,j)}\]
由于交互矩阵 \(A\) 的稀疏性,矩阵 \(W\) 也应该是稀疏的。
2、SLIM: Sparse Linear Methods for Top-N Recommender Systems
- 现有的两种推荐系统
-
基于邻居的协同过滤(代表,item-based CF)
【特点】:能快速生成推荐,推荐质量不高,没有从数据中学习。 - 基于模型的方法(代表,矩阵分解 MF 模型)
【特点】:模型训练慢,推荐质量高。
相比于以上两种方法,SLIM 既高效,推荐质量又高。
- SLIM 关键思想
-
保留 item-KNN 的稀疏矩阵 \(W\) 的特点。
- 通过从 \(A\) 中自学习矩阵 \(W\) 来提高推荐性能。
- 学习过程
\[L(\cdot) =\frac{1}{2} ||A-AW||_F^2+\frac{\beta}{2} ||W||_F^2+\lambda||W||_1 \]\[ {subject\ \ to\ \ }W\geq0, {diag}(W)=0\]
其中:-
\({diag} = 0\) 约束同一项目与自己的相似度不加入计算。
- \(l1\) 正则化约束使得矩阵$ W $稀疏
- 弗罗贝尼乌斯范数类似于矩阵的平方,用来防止数据过拟合
可以看到,实际上这个过程是可以并行执行的。
SLIM 的 paper 中使用了坐标下降和软阈值的方法来实现问题的求解。
使用特征选择可以减少 SLIM 的计算量。文章中使用了item-KNN 的方式选择了与待估项目相似度靠前的作为特征选择方式。
3、FISM:Factor item Similarity Models for Top-N Recommender Systems
论文主要完成了以下四个工作:
- 将基于项目的隐因子的方法扩展到 top-N 问题,这使得它们能够有效地处理稀疏数据集;
- 使用结构方程建模方法评估基于项目的隐因子方法。
- 同时使用均方误差和排名误差来评估该模型
- 观察各种参数的影响,因为与偏置,邻居协议和引起模型的稀疏性有关。
- 相关工作
- SLIM
- NSVD(rating prediction)
\[\hat r_{ui}=b_u+b_i+\sum_{j\in \mathbb{R}_u^+} {p}_j q_i^T\]
扩展了item-kNN,学习item之间的相似度。使用每个项目的隐因子内积作为相似度。 - SVD++
- 动机与模型比较
-
传统的 item-KNN 包括 SLIM 对交互矩阵 \(A\) 的处理按行或列独立,因此,如果两个 item 都没有评价记录,则这两个处理方法都会将两个 item 的相似度置为 0 ,这是不合理的。
- MF 模型考虑到了这个问题,但是它的效果不如 SLIM。
与 NSVD 和 SVD++ 比较:
- FISM 解决 Top-N;SVD 解决 rating prediction
- FISM 采用基于结构方程建模的回归方法。
- 评估某个 item 时,不使用用户对于该 item 的评分信息。
P.S. 这影响了相似度矩阵对角线元素对评估的影响,FISM评估时去掉了对角线元素,而SVD等保留了,这使得隐因子很大的情况下FISM表现得比 SVD 好
相关文章推荐
- 论文笔记] Amazon推荐系统——基于item的协同过滤
- 开源java推荐系统Taste(1)-基本的Item-based推荐
- 搜索引擎早期重要论文推荐系列【1】
- 《转》推荐系统经典论文文献及业界应用
- 基于neighborhood models(item-based) 的个性化推荐系统
- KDD 2013推荐系统论文
- 论文笔记-recsys'12-Xbox推荐系统: Bayesian MF
- 推荐系统方面的论文(Yahoo Research)
- 论文解读:基于机器学习的知道推荐—Enlister 推荐
- 【推荐系统论文笔记】个性化推荐系统评价方法综述(了解概念——入门篇)
- 搜索引擎早期重要论文推荐系列【2】
- 搜索引擎早期重要论文推荐系列【7】《Searching the Web》
- 搜索引擎早期重要论文推荐系列【6】
- 开源java推荐系统Taste(1)-基本的Item-based推荐
- 推荐系统:协同过滤 之 Item-based Collaborative Filtering
- 搜索引擎早期重要论文推荐系列【5】
- 灰帽子:解读AV-C测评杀软仍然是卡慢系统的重要原因
- 转:推荐系统中协同过滤算法实现分析(重要两个图!!)
- WSDM 2014推荐系统论文
- 解读综合布线6A系统的探讨 推荐