GraphChi之pagerank分析新浪微博用户

GraphChi由卡内基梅隆大学的Aapo Kyrola 博士生开发，是GraphLab项目的一个分支。该框架能够在单机上完成大数据的图计算。

项目地址：https://code.google.com/p/graphchi/

实例地址：http://code.google.com/p/graphchi/wiki/ExampleApps

其中的工具之一是pagerank，可以用它非常方便的对SNS的关系图（如新浪微博的好友关注图）进行分析。下面两篇文章就利用该工具对微博数据进行了分析，得出了用户的排名结果。
http://www.cnblogs.com/sing1ee/archive/2012/12/13/2811581.html
http://blog.sina.com.cn/s/blog_c2e02d1d01018qj7.html

安装：

1、下载graphchi：wget http://graphchi.googlecode.com/files/graphchi_src_v0.1.7b.tar.gz
2、tar zxvf graphchi_src_v0.1.7b.tar.gz

3、cd graphchi_v0.1.7b #后面称该目录为graphchi_ROOT

4、make example_apps/pagerank

make成功后将会在graphchi_ROOT/bin/example_apps/中生成可执行程序pagerank

运行方式：

需在graphchi_ROOT中运行，

bin/example_apps/pagerank file input-file <arg-label1> arg1 <arg-label2> arg2 ...

arg-label为参数标识，常用的有：

1、file 图数据文件

2、filetype 后面是图存储类型 edgelist或者adjacencylist

3、execthreads 计算的线程数

4、membudget_mb 加载图数据可使用的内存大小

5、niters 迭代计算的次数

示例：

bin/example_apps/pagerank file ../pg/part1_sort.txt 3 filetype edgelist execthreads 8 niters 10

数据格式：

graphchi支持两种数据格式：

EdgeListFormat：src dist1 value1 

AdjacencyListFormat：src 4 dist1 dist2 dist3 dist4

分析SNS关系图时，用EdgeListFormat更加方便处理，先将原始数据进行处理得到EdgeListFormat格式的数据，例如：

1 2

1 3

1 4

1 5

...

表示1关注了2、3、4、5，value值可以省略。

实验：

本文利用上面的工具进行了测试，测试的数据也是用的爬盟的新浪微博的用户信息数据（如图1所示的位原始数据），先对原始数据进行预处理，得到EdgeListFormat的关系图数据（如图2所示），这里需要注意的是GraphChi处理的id最大是2^32-1，而微博id太大无法处理，这里对微博id映射到从0开始递增的新id，映射关系如图3所示，最后运行pagerank程序得到最终的结果。实验的数据集包含100w+的微博用户信息，结果如图4所示，列出了rank值最高的20个用户的id、rank值和username。



图1



图2



图3



图4