[Hadoop in China 2011] 邵铮:揭秘FaceBook Puma演变及发展
2011-12-05 09:14
253 查看
http://storage.it168.com/a2011/1202/1283/000001283144.shtml
▲FaceBook公司软件工程师、研发经理邵铮
FaceBook公司自成立以来发展就非常迅猛,时至今日,每天都有数以万计的人活跃在FaceBook之上,这一庞大的用户群体吸引了大量的企业的注意力,他们希望通过FaceBook这一平台对自己的产品或服务进行营销,以精准找到自己的潜在用户。要精准找到自己的客户,必然要对FaceBook网站用户的实时信息进行分析,FaceBook公司提供的实时数据分析工具就凸显出重要作用。
据邵铮工程师介绍,FaceBook公司的实时数据分析平台是建立在Hadoop 和Hive的基础之上的,Hadoop Hive集群共有超过3000个节点,共同完成对数据的实时处理分析。如上图所示,数据流通过程涉及的环节较多,每个环节的延迟都会对数据的分析处理能力产生影响,为了最大地降低延迟,尽最大可能为各个用户提供实时查询结果,就要尽可能低地较少每个环节的延迟。
邵铮工程师在本次技术课程中分享了两个关键之处,一是Data Freeway,另一个则是Hadoop下的由Facebook公司开发改良的Puma环节。
邵铮工程师给我们分享了现在Facebook公司所使用的Scribe,如上图所示。并重点给我们讲解了Puma的演进与未来的发展方向。
上图是邵铮工程师认为的Puma理想工作流程,但实际环境中因为各种因素的制约,实际上不太可能达到这一理想流程。
上图为Puma的第二个版本,Puma2的命名是为了方便记忆和说明。但据邵铮工程师介绍,Puma同样存在一些局限。他说,HBase的写入速度较快,但读取速度就相对较慢。
上图为Puma3的拓扑图,相对于Puma2,其延迟将大幅降低。据悉,Facebook公司目前对实时数据的处理分析能力在10秒多一点,但在未来将 缩短到5秒甚至更短的时间。因为Facebook公司所具有的特殊性,其在未来将大幅缩短写性能,初步预期,相比于现在,将缩短25%的总体时间。现在每个机柜的内存为60GB,但在未来,其将大量部署SSD以替代内存,其内存大小将是现在的十倍,即600GB。
邵铮工程师表示,在未来,将对数据调度提供更好的支持,在这点上,需要对Puma进行简单的调度,因为连续的工作负载;并且将进行大规模普及,将Hive迁移到日常的报告查询。并且邵铮工程师透露了一个令人极度兴奋的消息,这些即将开源,将免费的开放给其他工程师。
▲FaceBook公司软件工程师、研发经理邵铮
FaceBook公司自成立以来发展就非常迅猛,时至今日,每天都有数以万计的人活跃在FaceBook之上,这一庞大的用户群体吸引了大量的企业的注意力,他们希望通过FaceBook这一平台对自己的产品或服务进行营销,以精准找到自己的潜在用户。要精准找到自己的客户,必然要对FaceBook网站用户的实时信息进行分析,FaceBook公司提供的实时数据分析工具就凸显出重要作用。
据邵铮工程师介绍,FaceBook公司的实时数据分析平台是建立在Hadoop 和Hive的基础之上的,Hadoop Hive集群共有超过3000个节点,共同完成对数据的实时处理分析。如上图所示,数据流通过程涉及的环节较多,每个环节的延迟都会对数据的分析处理能力产生影响,为了最大地降低延迟,尽最大可能为各个用户提供实时查询结果,就要尽可能低地较少每个环节的延迟。
邵铮工程师在本次技术课程中分享了两个关键之处,一是Data Freeway,另一个则是Hadoop下的由Facebook公司开发改良的Puma环节。
邵铮工程师给我们分享了现在Facebook公司所使用的Scribe,如上图所示。并重点给我们讲解了Puma的演进与未来的发展方向。
上图是邵铮工程师认为的Puma理想工作流程,但实际环境中因为各种因素的制约,实际上不太可能达到这一理想流程。
上图为Puma的第二个版本,Puma2的命名是为了方便记忆和说明。但据邵铮工程师介绍,Puma同样存在一些局限。他说,HBase的写入速度较快,但读取速度就相对较慢。
上图为Puma3的拓扑图,相对于Puma2,其延迟将大幅降低。据悉,Facebook公司目前对实时数据的处理分析能力在10秒多一点,但在未来将 缩短到5秒甚至更短的时间。因为Facebook公司所具有的特殊性,其在未来将大幅缩短写性能,初步预期,相比于现在,将缩短25%的总体时间。现在每个机柜的内存为60GB,但在未来,其将大量部署SSD以替代内存,其内存大小将是现在的十倍,即600GB。
邵铮工程师表示,在未来,将对数据调度提供更好的支持,在这点上,需要对Puma进行简单的调度,因为连续的工作负载;并且将进行大规模普及,将Hive迁移到日常的报告查询。并且邵铮工程师透露了一个令人极度兴奋的消息,这些即将开源,将免费的开放给其他工程师。
相关文章推荐
- 揭秘FaceBook Puma演变及发展——FaceBook公司的实时数据分析平台是建立在Hadoop 和Hive的基础之上,这个根能立稳吗?hive又是sql的Map reduce任务拆分,底层还是依赖hbase和hdfs存储
- [Hadoop in China 2011] 海狗不是狗 探秘支付宝准实时搜索查询
- [Hadoop in China 2011] 蒋建平:探秘基于Hadoop的华为共有云
- [Hadoop in China 2011] 人人网:基于Hadoop的SNS统计和聚类推荐
- [Hadoop in China 2011] 朱会灿:探析腾讯Typhoon云计算平台
- [Hadoop in China 2011] 何鹏:Hadoop在海量网页搜索中应用分析
- [Hadoop in China 2011] eBay:选择HBase建立搜索引擎的原因
- [Hadoop in China 2011] HBase在淘宝平台上的应用和改进经验
- [Hadoop in China 2011] 中兴:NoSQL应用现状及电信业务实践
- Hadoop in China2011参会总结
- [Hadoop in China 2011] Facebook Message在HBase基础上的应用
- [Hadoop in China 2011] 华为 - NoSQL/NewSQL在传统IT产业的机遇和挑战
- [Hadoop in China 2011] 淘宝OceanBase打造结构化NoSQL数据库
- [Hadoop in China 2011] Hadoop之上 中国移动“大云”系统解析
- FACEBOOK的实时HADOOP系统
- Hadoop实战:Hadoop项目及其结构揭秘
- My Review of Hadoop Summit 2011
- Facebook的AI机器人发展出了自己的语言--程序员你懂吗?
- Facebook引导着企业软件未来的发展方向
- Facebook, Hadoop and Hive