推荐系统实践学习笔记（二）：代码实现

写在前面：今天基于Movielens数据集把《推荐系统实践》上的部分算法实现了一下，顺便巩固python和pandas库的使用，发现书本上的代码有很多不靠谱之处（也许是我水平不够），所以基本都是自己写的，不当之处，还望指正。

读取Movielens数据集

Movielens数据集有几种不同规模的，我选择的是1M-DataSet，大约包含6000多个用户对4000多部电影的一百万条评分记录，下载地址：MovieLens|GroupLens

数据集中有三个.dat文件，分别是users、movies、ratings，用Sublime Text2打开文件并观察。



users.dat



movies.dat



ratings.dat

三个文件都是用”::”分隔的表格形式文件，查看说明文档发现各列代表的信息分别如下：

users.dat：UserID::Gender::Age::Occupation::Zip-code

movies.dat：MovieID::Title::Genres

ratings.dat：UserID::MovieID::Rating::Timestamp

使用pandas库中的read_table函数读取文件，并用merge函数将三个表格合并，保存为.csv格式的文件。

unames=['user_id','gender','age','occupation','zip']
users=pd.read_table('ml-1m/users.dat',sep='::',header=None,names=unames)

mnames = ['movie_id', 'title', 'genres']
movies = pd.read_table('ml-1m/movies.dat', sep='::', header=None, names=mnames)

rnames = ['user_id', 'movie_id', 'rating', 'timestamp']
ratings = pd.read_table('ml-1m/ratings.dat', sep='::', header=None, names=rnames)

all_data = pd.merge(pd.merge(ratings, users), movies)
data = DataFrame(data=all_data,columns=['user_id','movie_id'])
data.to_csv('data.csv')

UserCF

由于在进行TopN推荐而非评分预测时，我们并不关心用户给电影究竟打了多少分，而是关心用户是否对物品产生了行为，所以这里仅仅需要用户ID及其对应评分的电影ID数据，读取之前存储的表格并提取我们需要的信息：

data=pd.read_csv('data.csv')
X=data['user_id']
Y=data['movie_id']

书里给出的代码使用了dict存储用户id和电影id，如果不进行任何处理的话是不合理的，因为大多数用户都对不止一部电影进行了评分，一部电影也有多位不同用户进行过评分，‘user_id’和‘movie_id’都不能作为dict中的key，因此我在这里直接进行倒排矩阵的建立：

item_user=dict()
for i in range(X.count()):
user=X.iloc[i]
item=Y.iloc[i]
if item not in item_user:
item_user[item]=set()
item_user[item].add(user)

回顾一下UserCF的相似度计算公式：



计算N(u)、矩阵C(u)(v)：

C={}
N={}
for i,users in item_user.items():
for u in users:
N.setdefault(u,0)
N[u]+=1
C.setdefault(u,{})
for v in users:
if u==v:
continue
C[u].setdefault(v,0)
C[u][v]+=1

建立相似度矩阵：

W=C.copy()
for u,related_users in C.items():
for v,cuv in related_users.items():
W[u][v]=cuv/math.sqrt(N[u]*N[v])

接下来就可以利用公式向用户推荐和他兴趣最相似的K个用户喜欢的物品：



代码：

def recommend(user,user_item,W,K):
rank={}
interacted_items=user_item[user]
for v,wuv in sorted(W[user].items(),reverse=True)[0:K]:
for i in user_item[v]:
if i not in interacted_items:
rank.setdefault(i,0)
rank[i]+=wuv
return rank

对热门物品进行了惩罚的改进的UserCF，只需要在计算C[u][v]时乘上1/math.log(1+len(users))即可。ItemCF只要在UserCF算法代码的基础上稍作修改，在这里就不赘述了。