基于Hadoop的社会网络分析工具包X-Rime开源
2012-02-17 15:29
246 查看
社会网络(social network)是由图表示的异构多关系数据集,图中节点对应对象,边对应表示对象间联系或相互作用的链接。过去的几十年间,社会网络受到越来越多的关注。特别是移动网络和互联网的发展,产生了大量的,容易被计算机处理的社会网络数据。从这些海量数据中获取知识,从而理解商业行为,识别业务模式,捕捉盗用行为,更好利用资源,提高服务质量,将成为运营商的核心竞争力之一。
相对于传统的属性分析,通过考虑链接,社会网络分析(social network analysis)可以获得如下一些新知识:
l?????????? 基于链接的对象分类:根据对象的属性和链接和被链接的对象的属性,对对象进行区分;
l?????????? 对象类型预测:根据对象的属性和链接,以及连接到它的对象的属性预测对象的类型;
l?????????? 链接类型预测:根据所涉及的对象的性质,预测链接的类型或目的;
l?????????? 链接存在性预测:与链接类型预测不同,链接存在性预测用于预测对象间是否存在链接;
l?????????? 对象核对:根据对象的属性和链接,预测两个对象是否事实上相同;
l?????????? 组检测:根据对象属性和链接结构,预测对象是否处于一个组或簇;
通过这些知识,我们可以实现下面的应用:
l?????????? 网页排名(PageRank算法)
如果把一个个网页看作网络图中节点,而网页间的超链接看成是边,那么我们就会得到一个由网页和超链接组成的社会网络。从网页A导向网页B的边被看作是对页面A对页面B的支持投票,如果一个页面有许多优质的网页链接过来的网页,必定还是优质网页。通过这样一个和网络结构相关的指标,能够对网页的重要性给出一个客观的测定。
l?????????? 垃圾短信发送者检测
如果将移动通话用户看成网络图中的节点,用户之间发送短信关系看成网络图中的边,这样构成的网络,是一个典型的社会网络。一个正常的用户,他的短信被叫用户之间,往往也会相互发送短消息,构成了一些小团体。而垃圾短信发送者往往没有目的地发送大量的短信,短信接收者之间一般没有联系。在这样的社会网络中,通过分析用户的个体中心网,能够有效地检测垃圾短信发送者。
l?????????? 挖掘顾客的网络价值
顾客的网络价值是向其他顾客推销导致的销售预期的增加。顾客在它所处的网络中的位置,决定了顾客的网络价值。如果一个顾客,他在网络中有高的连通性,同时对产品有正面的评价,而且对其他人有较强的影响力,再考虑到口传的递归性(受影响的人会去影响其他人,进而影响整个网络),那么他就会有更高的顾客的网络价值。
?
目前,对移动网络和互联网这样大规模的社会网络进行分析,是一个比较困难的问题。一方面,传统的关系数据库和数据仓库并不对网络/图数据的计算进行优化,使得处理的效率不高;另一方面,传统的社会网络分析软件往往是单机应用,很难扩展以支持电信级和互联网级的分析。
?
X-Rime(http://xrime.sourceforge.net/)是IBM中国研究院和北京邮电大学在IBM研究部门的开放协作研究计划支持下的成果,它提供了一套基于Hadoop云计算环境的社会网络复杂网络分析工具包,它在Map/Reduce的框架上,实现了对电信级和互联网级社会网络/复杂网络的一些分析。目前支持下面算法:
l?????????? 图顶点度数统计
l?????????? 图的弱联通分量/强联通分量/重连通分量计算
l?????????? 个体中心度???
l?????????? K-core
l?????????? 极大团
l?????????? 宽度优先遍历/单源最短路径
l?????????? PageRank和带优先级的PageRank算法
l?????????? HITS (Hyperlink-Induced Topic Search)算法
l?????????? 图的最小生成树
引用自:http://blog.csdn.net/chaishen10000/article/details/5881717
相对于传统的属性分析,通过考虑链接,社会网络分析(social network analysis)可以获得如下一些新知识:
l?????????? 基于链接的对象分类:根据对象的属性和链接和被链接的对象的属性,对对象进行区分;
l?????????? 对象类型预测:根据对象的属性和链接,以及连接到它的对象的属性预测对象的类型;
l?????????? 链接类型预测:根据所涉及的对象的性质,预测链接的类型或目的;
l?????????? 链接存在性预测:与链接类型预测不同,链接存在性预测用于预测对象间是否存在链接;
l?????????? 对象核对:根据对象的属性和链接,预测两个对象是否事实上相同;
l?????????? 组检测:根据对象属性和链接结构,预测对象是否处于一个组或簇;
通过这些知识,我们可以实现下面的应用:
l?????????? 网页排名(PageRank算法)
如果把一个个网页看作网络图中节点,而网页间的超链接看成是边,那么我们就会得到一个由网页和超链接组成的社会网络。从网页A导向网页B的边被看作是对页面A对页面B的支持投票,如果一个页面有许多优质的网页链接过来的网页,必定还是优质网页。通过这样一个和网络结构相关的指标,能够对网页的重要性给出一个客观的测定。
l?????????? 垃圾短信发送者检测
如果将移动通话用户看成网络图中的节点,用户之间发送短信关系看成网络图中的边,这样构成的网络,是一个典型的社会网络。一个正常的用户,他的短信被叫用户之间,往往也会相互发送短消息,构成了一些小团体。而垃圾短信发送者往往没有目的地发送大量的短信,短信接收者之间一般没有联系。在这样的社会网络中,通过分析用户的个体中心网,能够有效地检测垃圾短信发送者。
l?????????? 挖掘顾客的网络价值
顾客的网络价值是向其他顾客推销导致的销售预期的增加。顾客在它所处的网络中的位置,决定了顾客的网络价值。如果一个顾客,他在网络中有高的连通性,同时对产品有正面的评价,而且对其他人有较强的影响力,再考虑到口传的递归性(受影响的人会去影响其他人,进而影响整个网络),那么他就会有更高的顾客的网络价值。
?
目前,对移动网络和互联网这样大规模的社会网络进行分析,是一个比较困难的问题。一方面,传统的关系数据库和数据仓库并不对网络/图数据的计算进行优化,使得处理的效率不高;另一方面,传统的社会网络分析软件往往是单机应用,很难扩展以支持电信级和互联网级的分析。
?
X-Rime(http://xrime.sourceforge.net/)是IBM中国研究院和北京邮电大学在IBM研究部门的开放协作研究计划支持下的成果,它提供了一套基于Hadoop云计算环境的社会网络复杂网络分析工具包,它在Map/Reduce的框架上,实现了对电信级和互联网级社会网络/复杂网络的一些分析。目前支持下面算法:
l?????????? 图顶点度数统计
l?????????? 图的弱联通分量/强联通分量/重连通分量计算
l?????????? 个体中心度???
l?????????? K-core
l?????????? 极大团
l?????????? 宽度优先遍历/单源最短路径
l?????????? PageRank和带优先级的PageRank算法
l?????????? HITS (Hyperlink-Induced Topic Search)算法
l?????????? 图的最小生成树
引用自:http://blog.csdn.net/chaishen10000/article/details/5881717
相关文章推荐
- 基于Hadoop的社会网络分析工具包X-Rime开源
- [转] X-RIME: 基于Hadoop的开源大规模社交网络分析工具
- 两个开源的社会网络分析工具(NodeXL,ORA)
- 两个开源的社会网络分析工具(NodeXL,ORA)
- 基于hadoop的社交网络的分析
- 开源社会网络分析工具NodeXL介绍
- 开源社会网络分析工具NodeXL介绍
- 基于wireshark和科来软件的网络协议分析报告
- 【HDFS篇】基于HA的hadoop集群分析及搭建(ZK+zkfc)
- CentOS 7 下安装开源网络取证分析工具Xplico
- JTS空间分析工具包(GIS开源)学习 JAVA
- ijkplayer简单实现播放 ijkplayer是Bilibili基于ffmpeg开发并开源的轻量级视频播放器,支持播放本地网络视频,也支持流媒体播放。支持
- [收藏]用社会网络分析改进知识的创新与共享
- 基于.NET 2.0的GIS开源项目SharpMap分析手记(十):开源空间信息软件体系与技术概述
- 使用Iptraf进行基于端口的网络流量的分析
- 研读《基于Hadoop的海量业务数据分析平台的设计与实现》----flume一章学习小结
- 基于.NET 2.0的GIS开源项目SharpMap分析手记(五):WebGIS原理分析及思考
- 基于Hadoop开发网络云盘系统架构设计方案第一稿
- 基于.NET 2.0的GIS开源项目SharpMap分析手记(十一):SharpMap影像准备——基于ERDAS的GEOTIFF图像生产过程