利用Python进行数据分析 笔记4

MovieLens 1M数据集
GroupLens Research采集了一组从20世纪90年末到21世纪初由MovieLens用户提供的电影评分数据。这些数据中包括电影评分、电影元数据（风格类型和年代）以及关于用户的人口统计学数据（年龄、邮编、性别和职业等）。基于机器学习算法的推荐系统一般都会对此类数据感兴趣。
MovieLens 1M数据集含有来自6000名用户对4000部电影的100万条评分数据。它分为三个表：评分、用户信息和电影信息。将该数据从zip文件中解压出来之后，可以通过pandas.read_table将各个表分别读到一个pandas
DataFrame对象中：
import pandas
as pd

unames=['user_id','gender','age','occupation','zip']

users=pd.read_table('G:/python/pydata-book-master/ch02/movielens/users.dat',sep='::',header=None,names=unames)

rnames=['user_id','movie_id','rating','timestamp']

ratings=pd.read_table('G:/python/pydata-book-master/ch02/movielens/ratings.dat',sep='::',header=None,names=rnames)

mnames=['movie_id','title','genres']

movies=pd.read_table('G:/python/pydata-book-master/ch02/movielens/movies.dat',sep='::',header=None,names=mnames)

利用Python的切片语法，通过查看每个DataFrame的前几行即可验证数据加载工作是否一切顺利：
users[:5]
print ratings

 
<class 'pandas.core.frame.DataFrame'>
Int64Index: 1000209 entries, 0 to 1000208
Data columns:
user_id      1000209  non-null values
movie_id     1000209  non-null values
rating       1000209  non-null values
timestamp    1000209  non-null values
dtypes: int64(4)
 
注意，其中的年龄和职业是以编码形式给出的。分析散布在三个表中的数据可不是一件轻松的事情。假设我们想要根据性别和年龄计算某部电影的平均得分，如果将所有数据合并到一个表中的话问题就简单了。可以先用pandas的merge函数将ratings跟users合并到一起，然后再将movies也合并进去。Pandas会根据列名的重叠情况推断出哪些列是合并或链接键：
data = pd.merge(pd.merge(ratings,users),movies)
print data

 
<class 'pandas.core.frame.DataFrame'>
Int64Index: 1000209 entries, 0 to 1000208
Data columns:
user_id       1000209  non-null values
movie_id      1000209  non-null values
rating        1000209  non-null values
timestamp     1000209  non-null values
gender        1000209  non-null values
age           1000209  non-null values
occupation    1000209  non-null values
zip           1000209  non-null values
title         1000209  non-null values
genres        1000209  non-null values
dtypes: int64(6), object(4)
 

print data.ix[0]

user_id                                 1
movie_id                                1
rating                                  5
timestamp                       978824268
gender                                  F
age                                     1
occupation                             10
zip                                 48067
title                    Toy Story (1995)
genres        Animation|Children's|Comedy
Name: 0
 
现在，熟悉一下pandas，就能轻松地根据任意用户或电影属性对评分数据进行聚合操作了，为了按性别计算每部电影的平均得分，可以使用pivot_table方法：
mean_ratings=data.pivot_table('rating',rows='title',cols='gender',aggfunc='mean')
mean_ratings[:5]

该操作会产生另一个DataFrame，其内容为电影平均得分，行标为电影名称，列标为性别。现在，可以尝试过滤掉评分数据不够250条的电影。为了达到这个目的，先对title进行分组，然后利用size（）得到一个含有各电影分组大小的Series对象：
ratings_by_title=data.groupby('title').size()

ratings_by_title[:10]

active_titles=ratings_by_title.index[ratings_by_title>=250]

active_titles

该索引中含有评分数据大于250条的电影名称，然后就可以据此从前面的mean_ratings中选取所需的行了：
mean_ratings=mean_ratings.ix[active_titles]
mean_ratings

 
为了了解女性观众最喜欢的电影，可以对F列降序排列：
top_female_ratings=mean_ratings.sort_index(by='F',ascending=False)
top_female_ratings[:10]