<数据挖掘><python><一个小的推荐系统示例>

一个小的推荐系统示例

Python是能编译的伪代码，开发效率高，计算能力很强，变量不用声明。还可以写脚本、写网站（主要是在html里面写python，估计没人会在Python里面写html吧）

一、Python也有类似java的机制——“PVM”（大家理解成python虚拟机，可以在多平台下运行）

二、环境搭建：（1）在windows下，直接上官网www.python.org 下载msi文件安装即可，可以用命令行，也有自己的GUI界面——IDLE；（2）如果是linux，那就自己找安装教程吧，也很简单的，如：在ubuntu下直接在shell下敲"apt-get install python2" ;（3）总之环境搭建很简单。

三、实验数据

一个测试集（80train.txt，8万行数据），一个训练集(test.txt，2万行数据)，这两个数据都是来自某电影推荐网站的数据库，其中每一行有四个字段（196242 3 881250949），字段依次表示user，movie，score，time（单位：ms，经过分发现最后一个字段是没有什么用处的）。算法会从训练集中找到用户之间的相似度（这里是简化的皮尔逊算法），根据相似度*分数，然后求平均值得到推荐分数。测试集是用来检查你的预测是否正确的，标准为MAE（Mean Average Error）=（所有预测值跟真实值差值总和）/（预测数量），越接近0越准确

四、代码

# -*- coding: cp936 -*-
from math import *
import time
import random

##读取文件，返回值为嵌套字典
def Readf(filename):
dir={}
tmp={}

#读取文件
fp=open(filename, "r")
alllines=fp.readlines()
fp.close()

#读取每一行数据，忽略时间戳（应该说时间戳没有用、、）
for eachline in alllines:
item=eachline.split()
if dir.has_key(item[0]):
tmp=dir[item[0]]
else:
tmp={}
tmp[item[1]]=int(item[2])
dir[item[0]]=tmp
return  dir

##相似度算法,返回值越大说明越相近（r=range(-1,1)）
def simplePEX(prefs,p1,p2):
si={}
for item in prefs[p1]:
if item in prefs[p2]: si[item]=1
n=len(si)                     #相同电影的数量
if n==0: return 1

#偏好求和
sum1=sum([prefs[p1][it] for it in si])
sum2=sum([prefs[p2][it] for it in si])

#求平方和
sum1Sq=sum([pow(prefs[p1][it],2) for it in si])
sum2Sq=sum([pow(prefs[p2][it],2) for it in si])

#求乘积和
pSum=sum([prefs[p1][it]*prefs[p2][it] for it in si])

#计算皮尔逊评价值
num=pSum-(sum1*sum2/n)
den=sqrt((sum1Sq-pow(sum1,2)/n)*(sum2Sq-pow(sum2,2)/n))

if den==0:
return 0
r=num/den
#简化皮尔逊，返回保留一位小数的浮点数
return int(r*10+1)*0.1

##得到用户的所有电影的平均分
def getUserAverage(prefs,user):
scoresSum=0
count=0
for movie in prefs[user]:
scoresSum += prefs[user][movie]
count +=1
return scoresSum/count

def getRecommendations(prefs,person,similarity=simplePEX):
totals={}
simSums={}
#不要和自己比较
userAve=getUserAverage(prefs,person)
for other in prefs:
if other==person: continue
otherAve=getUserAverage(prefs,other)
sim=similarity(prefs,person,other)

#忽略评价值小于0.3的情况
if sim<=0.2: continue

for othermovie in prefs[other]:
if othermovie not in prefs[person]:
totals.setdefault(othermovie,0)
totals[othermovie]+=(prefs[other][othermovie]-otherAve)*sim
simSums.setdefault(othermovie,0)
simSums[othermovie]+=sim
rankings=[(int(total/simSums[item]+userAve+0.5),item) for item,total in totals.items()]
rankings.sort()
rankings.reverse()
return rankings

def printMAE():
_sum=0.0
count=0
train=Readf("80train.txt")
test=Readf("test.txt")

for person in test:
recommentations = getRecommendations(train,person)
for key in test[person].keys():
itemCount = 0
for item in recommentations:
if key == item[1]:
_sum += abs(item[0] - test[person][key])
count += 1
break
itemCount += 1
if itemCount == len(recommentations):
_sum += getUserAverage(train,person)
count += 1

if count==0: print "error!"
else:
print "Count",count
print "MAE =",_sum/count

#here is main()
start=time.time()
print "Start:"
printMAE()
end=time.time()
print "Time=",end - start,"s"
print "End!"

五、数据处理过程

1. 数据预处理。将 80train.txt 和 test.txt 的条目（每一行）一条一条进行处理，忽略时间戳生成python的数据结构——dictionary，其结构如下：
{ user0：{movie0：scores0，moive1：scores1，......}，user1:{movie0：scores0，......} ...... }
2. 脏数据去除。本来以为时间戳可以去掉一些脏数据。但是发现时间戳根本没有什么用处（理由在下面），所以我认为所有的数据都是有用的。

那么为什么没用？
①　如果时间戳的单位为ms：
Name : 216
Movie:
658 3 1970-01-11 04:30:45
Name : 217
Movie:
27 1 1970-01-11 06:57:50
2 3 1970-01-11 06:57:49 ......
结果时间值为1970年1月11号凌晨左右。
②　那如果单位是s呢？
Name : 216
Movie:
658 3 1997-11-23 00:30:29

Name : 217
Movie:
27 1 1998-03-05 03:53:31
2 3 1998-03-05 03:49:42

Name : 214
Movie:
1129 4 1998-04-15 19:24:09
334 3 1998-04-02 18:42:20
117 4 1998-04-02 18:54:01
131 3 1998-04-02 19:14:25
137 4 1998-04-02 18:53:47
275 3 1998-04-02 18:49:28

Name : 215
Movie:
421 4 1998-04-01 13:01:44
197 4 1998-04-01 12:55:57
212 2 1998-04-01 13:01:20
输出的结果为1998年1月至12月。虽然时间不同，但是对于特定的某一个用户，时间是基本一样的。这些数据很明显跟用户没有关系，因为整个程序是基于用户的，所以我觉得时间戳跟用户没有关系。通俗一点，时间戳没有什么作用。
用户间的相似度。采用的是皮尔逊算法，返回值大小区间为[-1,1]。值越大，用户的相似程度越高。
3. 简化皮尔逊算法。普通皮尔逊的返回值为[-1,1]的浮点数。这里，我们只采用后小数点后一位
4. 但是真正能用的只能是[0,1]，这是之前的想法，但是考虑到当值用户之间的相似度很小的时候（也是正数），我们大胆推测其间已经不是很相似了，换句话说就是“不相似值”已经很接近“1”了，对于这部分数据（相似度较小），我们最终采取去除的操作。去除方法：本来的想法是去除[0,1]相似值较小的n%的，但这个比较耗运行时间。最终方法是只选用相似值为[0.3 , 1]的数据。
5. 推荐算法的实现。对于一个特定的人，例如：用户：“20”，电影：“211”。那么我们对每个除自己外的人算皮尔逊值，选取[0.3 , 1]区间的数据。然后在每个其他用户的字典里找电影“211”，如果存在“211”，那么读取该用户的“211”评分，乘于相似度，最终取所有平均值。返回。
6. MAE。读取test.txt 产生的字典，循环读取每个用户的每部电影，然后对推荐评分和test评分进行处理，最终得出MAE。但是并不是每一部电影都有推荐，那么这是为什么呢？因为有些电影没有人看过，没有看过的电影怎么推荐呢？这个问题我也问过老师，老师说了两种方法：1.给中间值；2.给最常出现的的评分。而我想了一个个人觉得更好的方法——给该用户所有电影的最低分。理由：之所以没有算出推荐分数，不是因为没有没人看过这部电影，而是因为有该电影评分的没人和有相似度，有相似度的却没看过这部电影。在现实生活中是有可能发生的，不常见而已。
六、输出结果

Start:

Count 20000

MAE = 0.7616

Time= 67.7969999313 s

End!

欢迎下载数据代码：文件名：Data Mining-python.rar,访问地址：pan.xiaomi.com/file/id_59304594890555457.htm（小米网盘，记得加http://）

在下才疏学浅，上面是我的一些私人分享，如有不正确的地方，还请留言指正。——jack