基于协同过滤构建简单推荐系统

本文只是对协同过滤的一个简单的知识总结，对该方面知识的学习，可参考《推荐系统实践》、《集体智慧编程》。这里并不给出原因，而只是一个该方面知识点的简单应用。通过这些简单的应用再反过来学习相关的知识点，应该能提升很大的兴趣。

先谈什么是机器学习：

机器学习：将一组数据传递给算法，并由算法推断出与这些数据的属性相关的信息——借助这些信息，算法就能够预测出未来有可能会出现的其他数据。

因为几乎所有的非随机数据中，都会包含这样或那样的“模式”，这些模式的存在使得机器得以据此进行归纳。为了实现归纳，机器会利用它所认定的出现于数据中的重要特征对数据进行“训练”，并借此得到一个模型。

什么是推荐系统：

如在线购物中的商品推荐、热门网站的推荐、以及帮助人们寻找音乐盒影片的应用。

什么是协同过滤Collaborative Filtering

对一大群人进行搜索，并从中找出与我们品位相近的一群人。算法会对这些人所偏爱的内容进行考察，并将它们组合起来构造出一个经过排名的推荐列表。

基于协同过滤算法构建一个推荐系统的过程：(Python实现）

1.收集偏好——可以使用一个嵌套的字典

2.寻找相近的用户

欧几里得距离

皮尔逊相关度

3.为评论者打分，并找到最接近的匹配结果

4.推荐物品

数据集：

一个可以用来做练习的数据集如下：
http://grouplens.org/datasets/movielens/
实例：

1.有如下数据集：描述的是一些用户对一些电影的评价

#list of movies
critics={'Lisa Rose': {'Lady in the Water': 2.5, 'Snakes on a Plane': 3.5,
'Just My Luck': 3.0, 'Superman Returns': 3.5, 'You, Me and Dupree': 2.5,
'The Night Listener': 3.0},
'Gene Seymour': {'Lady in the Water': 3.0, 'Snakes on a Plane': 3.5,
'Just My Luck': 1.5, 'Superman Returns': 5.0, 'The Night Listener': 3.0,
'You, Me and Dupree': 3.5},
'Michael Phillips': {'Lady in the Water': 2.5, 'Snakes on a Plane': 3.0,
'Superman Returns': 3.5, 'The Night Listener': 4.0},
'Claudia Puig': {'Snakes on a Plane': 3.5, 'Just My Luck': 3.0,
'The Night Listener': 4.5, 'Superman Returns': 4.0,
'You, Me and Dupree': 2.5},
'Mick LaSalle': {'Lady in the Water': 3.0, 'Snakes on a Plane': 4.0,
'Just My Luck': 2.0, 'Superman Returns': 3.0, 'The Night Listener': 3.0,
'You, Me and Dupree': 2.0},
'Jack Matthews': {'Lady in the Water': 3.0, 'Snakes on a Plane': 4.0,
'The Night Listener': 3.0, 'Superman Returns': 5.0, 'You, Me and Dupree': 3.5},
'Toby': {'Snakes on a Plane':4.5,'You, Me and Dupree':1.0,'Superman Returns':4.0}}

2.寻找相近的用户

这里需要计算的是不同人之间品位的相似程度。常用算法有欧几里德距离和皮尔逊相关度。（详细内容参考相关书籍）

计算方法这里不详述。

算法1：欧几里德距离

from math import sqrt

def sim_distance(prefs,person1,person2):
si = {}
for item in prefs[person1]:
if item in prefs[person2]: si[item]=1

if len(si)==0:
return 0

sum_of_squares=sum([pow(prefs[person1][item]-prefs[person2][item],2)
for item in prefs[person1] if item in prefs[person2]])

return 1/(1+sqrt(sum_of_squares))

这里对其加1并取倒数的原因是：避免遇到零整除的错误。

这样总能得到一个介于0到1之间的小数，数越大，表示偏好越相近

算法2：皮尔逊相关度：

皮尔逊相关系数用来判断两组数据与某一直线的拟合程度。

通过这种算法，首先会找出两位评论者都评价过的物品，然后计算两者的评分总和与平方和，并求得评分的乘积和。从而计算出皮尔逊相关系数。

def sim_pearson(prefs,p1,p2):
si = {}
for item in prefs[p1]:
if item in prefs[p2]: si[item]=1

n=len(si)
if n==0: return 1

sum1=sum([prefs[p1][it] for it in si])
sum2=sum([prefs[p2][it] for it in si])

sum1Sq=sum([pow(prefs[p1][it],2) for it in si])
sum2Sq=sum([pow(prefs[p2][it],2) for it in si])

pSum=sum([prefs[p1][it]*prefs[p2][it] for it in si])

num=pSum-(sum1*sum2/n)
den=sqrt((sum1Sq-pow(sum1,2)/n)*(sum2Sq-pow(sum2,2)/n))
if den==0: return 0

r=num/den

return r

该函数返回一个介于-1到1之间的数值，越大越相似。

3.为评论者打分，得到相近的匹配结果

def topMatches(prefs,person,n=5,similarity=sim_pearson):
scores=[(similarity(prefs,person,other),other)
for other in prefs if other!=person]

scores.sort()
scores.reverse()
return scores[0:n]

上面对列表进行方向排序，使得相似度最高的排在前面。

4.推荐物品：

思想是：通过一个加权评价值（考虑到一些影片不同的质量，如收到越多的人评价的电影权重应该更高点）来为影片打分。

def getRecommendations(prefs,person,similarity=sim_pearson):
totals={}
simSums={}
for other in prefs:
if other == person: continue
sim=similarity(prefs,person,other)

if sim<=0: continue
for item in prefs[other]:

if item not in prefs[person] or prefs[person][item]==0:
totals.setdefault(item,0)
totals[item]+=prefs[other][item]*sim

simSums.setdefault(item,0)
simSums[item]+=sim

rankings=[(total/simSums[item],item) for item,total in totals.items()]

rankings.sort()
rankings.reverse()
return rankings

通过上面这些步骤，可以构建出一个基本的推荐系统。我们所要做的只是：构建涉及人员、物品和评价值的字典，然后借此来为用户提供建议。

注：关于上面引用的代码的具体解释，可以参考 《集体智慧编程》一书。