Hadoop子项目——hbase
2013-11-27 14:42
29 查看
1.HBase是一个在HDFS上开发的面向列的分布式数据库,可实时地随机读写超大规模数据集,它不是关系型数据库,不支持SQL。
2.行中的列分成列族,所有的列族成员具有相同的前缀,一个表的列族必须作为表的模式定义的一部分预先给出,但是新的列族成员可以随后按需加入。
3.区域:HBase自动把表水平划分成区域,每个区域由表中行的子集构成,区域是HBase集群分布数据的最小单位。
4.HBase用一个Master节点协调管理一个或多个Regionserver从属机,Master负责启动和全新的安装、把区域分配给注册的Regionserver,恢复Regionserver的故障。Regionserver负责零个或多个区域的管理及响应客户端的读写请求,还负责区域的划分,并通知Master有了新的子区域。HBase依赖于ZooKeeper,若区域的分配过程中有服务器崩溃,就通过ZooKeeper来协调分配。
5.HBase内部有保留一个名为-ROOT- 和.META. 的目录,-ROOT-包含.META.表的区域列表。客服端首先查找-ROOT-的位置,获取所请求行的所在范围所属的.META.区域的位置,再查找.META.获取用户空间区域节点及其位置,接着客服端可以直接和管理那个区域的Regionserver交互。
6. 要启动一个使用本地文件系统/tmp目录作为持久化存储的HBase实例,用命令:
%start -hbase.sh
管理hbase实例,用命令:
%hbase shell
7.建表时定义表名、定义模式,模式包括表的属性和一个列族的列表。 disable把表设为离线,enable把表设为在线。
8.需要加载的数据量很大时,可以把源数据复制到HDFS,接着运行MR作业将数据写入HBase。
9.HBase无真正的索引;自动分区(表的规模增大时,自动分裂成区域,分布到可用节点);线性扩展。
10.实战:
> create 'test','data'
>list
>put 'test','row1','data:1','value1'
> put 'test','row2','data:2','value2'
>put 'test','row3','data:3','value3'
>scan 'test'
>disable 'test'
>drop 'test'
2.行中的列分成列族,所有的列族成员具有相同的前缀,一个表的列族必须作为表的模式定义的一部分预先给出,但是新的列族成员可以随后按需加入。
3.区域:HBase自动把表水平划分成区域,每个区域由表中行的子集构成,区域是HBase集群分布数据的最小单位。
4.HBase用一个Master节点协调管理一个或多个Regionserver从属机,Master负责启动和全新的安装、把区域分配给注册的Regionserver,恢复Regionserver的故障。Regionserver负责零个或多个区域的管理及响应客户端的读写请求,还负责区域的划分,并通知Master有了新的子区域。HBase依赖于ZooKeeper,若区域的分配过程中有服务器崩溃,就通过ZooKeeper来协调分配。
5.HBase内部有保留一个名为-ROOT- 和.META. 的目录,-ROOT-包含.META.表的区域列表。客服端首先查找-ROOT-的位置,获取所请求行的所在范围所属的.META.区域的位置,再查找.META.获取用户空间区域节点及其位置,接着客服端可以直接和管理那个区域的Regionserver交互。
6. 要启动一个使用本地文件系统/tmp目录作为持久化存储的HBase实例,用命令:
%start -hbase.sh
管理hbase实例,用命令:
%hbase shell
7.建表时定义表名、定义模式,模式包括表的属性和一个列族的列表。 disable把表设为离线,enable把表设为在线。
8.需要加载的数据量很大时,可以把源数据复制到HDFS,接着运行MR作业将数据写入HBase。
9.HBase无真正的索引;自动分区(表的规模增大时,自动分裂成区域,分布到可用节点);线性扩展。
10.实战:
> create 'test','data'
>list
>put 'test','row1','data:1','value1'
> put 'test','row2','data:2','value2'
>put 'test','row3','data:3','value3'
>scan 'test'
>disable 'test'
>drop 'test'
相关文章推荐
- 第6周 Hadoop子项目与Hbase
- Hadoop主要子项目介绍(Pig Zookeeper Hbase Hive Sqoop Avro Chukwa Cassandra )
- hadoop,zookeeper, hbase集群的批量安装
- Hadoop+Hbase+Spark集群配置-Hbase HA安装
- 【收集】hadoop,hbase,zookeeper错误日志及部分解决办法
- hadoop,hbase,hive,zookeeper版本整合兼容性问题总结
- hadoop命令执行hbase应用jar包时的环境变量加载问题
- hadoop hbase 完全分布式
- 大数据集群遇到的问题(Hadoop、Spark、Hive、kafka、Hbase、Phoenix)
- 基于Nutch+Hadoop+Hbase+ElasticSearch的网络爬虫及搜索引擎
- hbase1.2.3集群搭建(基于hadoop2.7.3)
- Hadoop Hive与Hbase整合+thrift
- hadoop2.2.0_hbase0.96_zookeeper3.4.5全分布式安装文档下载
- hadoop(八) - hbase集群环境搭建
- windows环境开发,使用hbase报错。Could not locate executablenull\bin\winutils.exe in the Hadoop binaries
- hadoop,hbase,zookeeper安装配置
- hbase、zookeeper及hadoop部署
- Hadoop、Spark、HBase与Redis的适用性见解
- debian 系统安装 hadoop 和hbase 环境。
- [HBase] ERROR:org.apache.hadoop.hbase.PleaseHoldException: Master is initializing