[Hadoop in China 2011] HBase在淘宝平台上的应用和改进经验
2011-12-05 10:03
239 查看
http://tech.it168.com/a2011/1202/1283/000001283152.shtml
在今天下午进行的NoSQL系统及应用分论坛中,来自淘宝的软件工程师张毅发表主题演讲“淘宝HBase应用和改善”,介绍了HBase在淘宝平台上使用,以及对HBase的调试和改进的经验分享。
▲淘宝软件工程师张毅
随着淘宝的数据的快速增长,数据量每年都会翻一翻,这样的增长速度是淘宝选择HBase的重要原因。据张毅介绍,淘宝自今年年初开始对HBase进行预 演,包括线上应用和调优,以及bug的修改。这一过程包括三个阶段,第一阶段是对HBase的属性和配置等性能方面的熟悉过程;第二阶段将HBase应用 到线上;第三阶段是修改其内部代码,并投入到HBase的社区中,使其得到进一步的发展。
▲淘宝选择HBase的原因
HBase是分布式NoSQL存储系统,其底层数据存储基于HDFS,具有高可用和高性能的特点,可以处理百亿行*百万列*上万个版本的列式存储。谈到 淘宝为什么会选择HBase,张毅表示,淘宝选择HBase就像当年选择Hadoop一样,因其具有海量数据处理的能力。淘宝每天的数据量都能达到PB 级,需要HBase应对海量数据带来的挑战。另外,HBase还具有易于横向扩展、随机读写的高性能、高可靠性和稳定性、单行写入的强一致性的特点。
▲HBase在淘宝的规模
张毅认为数据瞬间写入量很大,数据库不好支撑或者需要很高成本支撑的场景可以考虑使用HBase,或者数据需要长久保存,且量会持续增长到比较大的场景 可以选择HBase。但是HBase毕竟不是关系型数据库,因此不适用于有Join、多级索引、表关系复杂的数据模型。
▲NoSQL专场爆满 向坐在地上的同学们致敬
在今天下午进行的NoSQL系统及应用分论坛中,来自淘宝的软件工程师张毅发表主题演讲“淘宝HBase应用和改善”,介绍了HBase在淘宝平台上使用,以及对HBase的调试和改进的经验分享。
▲淘宝软件工程师张毅
随着淘宝的数据的快速增长,数据量每年都会翻一翻,这样的增长速度是淘宝选择HBase的重要原因。据张毅介绍,淘宝自今年年初开始对HBase进行预 演,包括线上应用和调优,以及bug的修改。这一过程包括三个阶段,第一阶段是对HBase的属性和配置等性能方面的熟悉过程;第二阶段将HBase应用 到线上;第三阶段是修改其内部代码,并投入到HBase的社区中,使其得到进一步的发展。
▲淘宝选择HBase的原因
HBase是分布式NoSQL存储系统,其底层数据存储基于HDFS,具有高可用和高性能的特点,可以处理百亿行*百万列*上万个版本的列式存储。谈到 淘宝为什么会选择HBase,张毅表示,淘宝选择HBase就像当年选择Hadoop一样,因其具有海量数据处理的能力。淘宝每天的数据量都能达到PB 级,需要HBase应对海量数据带来的挑战。另外,HBase还具有易于横向扩展、随机读写的高性能、高可靠性和稳定性、单行写入的强一致性的特点。
▲HBase在淘宝的规模
张毅认为数据瞬间写入量很大,数据库不好支撑或者需要很高成本支撑的场景可以考虑使用HBase,或者数据需要长久保存,且量会持续增长到比较大的场景 可以选择HBase。但是HBase毕竟不是关系型数据库,因此不适用于有Join、多级索引、表关系复杂的数据模型。
▲NoSQL专场爆满 向坐在地上的同学们致敬
相关文章推荐
- [Hadoop in China 2011] Facebook Message在HBase基础上的应用
- [Hadoop in China 2011] 淘宝OceanBase打造结构化NoSQL数据库
- [淘宝经验] - HBASE在淘宝网的应用和优化小结
- [Hadoop in China 2011] 何鹏:Hadoop在海量网页搜索中应用分析
- [Hadoop in China 2011] eBay:选择HBase建立搜索引擎的原因
- [Hadoop in China 2011] 中兴:NoSQL应用现状及电信业务实践
- ZooKeeper 原理及其在 Hadoop 和 HBase 中的应用
- 基于Greenplum Hadoop分布式平台的大数据解决方案及商业应用案例剖析
- 淘宝Hadoop作业平台宙斯(zeus)开源
- Hadoop之Hbase架构以及应用介绍
- 基于Greenplum Hadoop分布式平台的大数据解决方案及商业应用案例剖析
- 基于Hadoop平台的云存储应用实践
- 大数据应用之Windows平台Hbase客户端Eclipse环境搭建-Java版
- ZooKeeper 原理及其在 Hadoop 和 HBase 中的应用
- hadoop2.2.0 和 hbase0.94.12 平台使用phoenix
- docker应用-3(搭建hadoop以及hbase集群)
- hadoop、hbase、zookeeper整合kerberos,搭建安全平台
- 如何理解Hadoop-Hbase原理与应用小结
- Hadoop的分布式架构改进与应用
- [Hadoop in China 2011] Hadoop之上 中国移动“大云”系统解析