您的位置:首页 > 运维架构

Hadoop子项目——hbase

2013-11-27 14:42 29 查看
1.HBase是一个在HDFS上开发的面向列的分布式数据库,可实时地随机读写超大规模数据集,它不是关系型数据库,不支持SQL。

2.行中的列分成列族,所有的列族成员具有相同的前缀,一个表的列族必须作为表的模式定义的一部分预先给出,但是新的列族成员可以随后按需加入。

3.区域:HBase自动把表水平划分成区域,每个区域由表中行的子集构成,区域是HBase集群分布数据的最小单位。

4.HBase用一个Master节点协调管理一个或多个Regionserver从属机,Master负责启动和全新的安装、把区域分配给注册的Regionserver,恢复Regionserver的故障。Regionserver负责零个或多个区域的管理及响应客户端的读写请求,还负责区域的划分,并通知Master有了新的子区域。HBase依赖于ZooKeeper,若区域的分配过程中有服务器崩溃,就通过ZooKeeper来协调分配。

5.HBase内部有保留一个名为-ROOT- 和.META. 的目录,-ROOT-包含.META.表的区域列表。客服端首先查找-ROOT-的位置,获取所请求行的所在范围所属的.META.区域的位置,再查找.META.获取用户空间区域节点及其位置,接着客服端可以直接和管理那个区域的Regionserver交互。

6. 要启动一个使用本地文件系统/tmp目录作为持久化存储的HBase实例,用命令:

%start -hbase.sh

管理hbase实例,用命令:

%hbase shell

7.建表时定义表名、定义模式,模式包括表的属性和一个列族的列表。 disable把表设为离线,enable把表设为在线。

8.需要加载的数据量很大时,可以把源数据复制到HDFS,接着运行MR作业将数据写入HBase。

9.HBase无真正的索引;自动分区(表的规模增大时,自动分裂成区域,分布到可用节点);线性扩展。

10.实战:

> create 'test','data'

>list

>put 'test','row1','data:1','value1'

> put 'test','row2','data:2','value2'

>put 'test','row3','data:3','value3'

>scan 'test'

>disable 'test'

>drop 'test'
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: