【HBase】HBase安装
前言
HBase是一个分布式的,面向列的开源数据库,该技术来源于Fay Chang所撰写的Google论文”Bigtable:一个结构化数据的分布式存储系统“。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列而不是基于行模式。在需要实时读写、随机访问超大规模数据集时,可以使用HBase。
上图描述Hadoop Ecosystem中的各层结构。其中,HBase位于结构化存储层,Hadoop HDFS为HBase提供了高可靠性的底层存储支持。Hadoop MapReduce为HBase提供了高性能的计算能力,ZooKeeper为HBase提供了稳定服务和故障切换(failover)机制。此外,Pig和Hive还为HBase提供了高层语言支持,使得在HBase上进行数据统计处理变的非常简单。Sqoop则为HBase提供了方便的RDBMS数据导入功能,使得传统数据库数据向HBase中迁移变的非常方便。
如上为HBase架构图
HBase Master负责管理所有的HRegion,HBase Master并不存储HBase服务器的任何数据,HBase逻辑上的表可能会划分为多个HRegion,然后存储在HRegion Server群中,HBase Master Server中存储的是从数据到HRegion Server的映射。
一台机器只能运行一个HRegion服务器,数据的操作会记录在Hlog中,在读取数据时候,HRegion会先访问缓存,如果缓存中没有数据才回到Hstore中上找,每一个列都会有一个Hstore集合,每个Hstore集合包含了很多具体的HstoreFile文件,这些文件是B树结构的,方便快速读取。
实验步骤
1.首先在Linux本地,新建/data/hbase1目录,用于存放所需文件。
mkdir -p /data/hbase1
切换目录到/data/hbase1下,使用wget命令,下载HBase所需安装包hbase-1.0.0-cdh5.4.5.tar.gz。
cd /data/hbase1
wget http://59.74.172.143:60000/allfiles/hbase1/hbase-1.0.0-cdh5.4.5.tar.gz
cd /data/hbase1
wget http://59.74.172.143:60000/allfiles/hbase1/hbase-1.0.0-cdh5.4.5.tar.gz
2.将/data/hbase1目录下,HBase的安装包hbase-1.0.0-cdh5.4.5.tar.gz,解压缩到/apps目录下。
tar -xzvf /data/hbase1/hbase-1.0.0-cdh5.4.5.tar.gz -C /apps
再切换到/apps目录下,将/apps/hbase-1.0.0-cdh5.4.5/,重命名为hbase。
cd /apps
mv /apps/hbase-1.0.0-cdh5.4.5/ /apps/hbase
3.添加HBase的环境变量。首先使用vim打开用户环境变量文件。
sudo vim ~/.bashrc
在环境变量文件末尾位置,追加HBase的bin目录路径相关配置,并保存退出。即下列内容:
#hbase export HBASE_HOME=/apps/hbase export PATH=$HBASE_HOME/bin:$PATH
执行source命令,使环境变量生效。
source ~/.bashrc
此时就可以调用HBase的bin目录下的脚本了。先来查看一下HBase的版本信息。
hbase version
4.下面开始配置HBase。切换目录到/apps/hbase/conf目录下,并使用vim编辑hbase-env.sh文件。
cd /apps/hbase/conf
vim hbase-env.sh
追加配置内容到hbase-env.sh中,并保存退出。
export JAVA_HOME=/apps/java export HBASE_MANAGES_ZK=true export HBASE_CLASSPATH=/apps/hbase/conf
很明显:
JAVA_HOME为java程序所在位置;
HBASE_MANAGES_ZK表示是否使用HBase自带的zookeeper环境;
HBASE_CLASSPATH指向hbase配置文件的路径。
5.下面使用vim打开hbase-site.xml文件。
vim hbase-site.xml
在两个之间添加如下内容,并保存退出。
<property> <name>hbase.master</name> <value>localhost</value> </property> <property> <name>hbase.rootdir</name> <value>hdfs://localhost:9000/hbase</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <name>hbase.zookeeper.quorum</name> <value>localhost</value> </property> <property> <name>hbase.zookeeper.property.dataDir</name> <value>/data/tmp/zookeeper-hbase</value> </property>
配置项说明:
hbase.master:HBase主节点地址。
hbase.rootdir:HBase文件所存储的位置。
hbase.cluster.distributed:HBase是否为分布式模式。
hbase.zookeeper.quorum:这里是配置ZooKeeper的服务器的地方。
hbase.zookeeper.property.dataDir:这里表示HBase在ZooKeeper上存储数据的位置。
注意:这里hbase.zookeeper.property.dataDir目录,需要提前创建。
sudo mkdir -p /data/tmp/zookeeper-hbase
将/data/tmp/zookeeper-hbase目录切换所属用户为zhangyu及用户组为zhangyu。
sudo chown -R zhangyu:zhangyu /data/tmp/zookeeper-hbase
6.使用vim编辑/apps/hbase/conf/regionservers文件,此文件存储了HBase集群节点的ip地址,目前只有一台节点,所以只需要填写localhost即可。
vim /apps/hbase/conf/regionservers
修改文件内容为:
localhost
7.下面输入jps,查看当前进程,Hadoop进程是否已经启动。
jps
若未启动,则切换到/apps/hadoop/sbin目录下,启动Hadoop。
cd /apps/hadoop/sbin
./start-all.sh
当Hadoop相关进程启动后,进入HBase的bin目录下,启动HBase服务。
cd /apps/hbase/bin/
./start-hbase.sh
8.输入jps,查看HBase相关进程是否存在。
jps
输出结果为:
可以看到HMaster、HRegionServer、HQuorumPeer进程都已启动。
为了进一步测试HBase安装,是否正常,进入HBase Shell接口。
hbase shell
注意:如果我们使用SecureCRT这样的远程访问工具,输错命令时,直接按Backspace键,是不能删除掉前面的文字的。在这里可以使用Ctrl键+Backspace键来删除前面输错的文字。
输入list的命令,查看当前有哪些HTable表。
list
创建一张表tb,表中含有一个列簇mycf。
create ‘tb’,‘mycf’
再次输入list,列出HBase中的表。
到此hbase的安装测试都已完毕!
4000- hbase 1.2.1 分布式安装
- 私网安装Ambari实现Hadoop、Hbase等自动化安装(离线 本地源)
- HBase集群的安装部署
- HBase安装
- Centos 7 伪分布式安装Hadoop2.6和Hbase0.94
- Hbase完全分布式安装-连接hadoop2 namenode高可用
- hbase集群安装与部署
- Hadoop+HBase平台上安装snappy
- Hbase0.98安装与配置
- HBase的安装
- 单机版Hbase的安装与使用
- Hbase集群安装与常见问题解决
- 【Hbase】初识Hbase,单节点安装
- Hbase集群安装和基本操作
- hadoop+HBase+Zookeeper 安装
- hadoop,hbase,hive安装全记录
- Hbase1.1.4 安装与配置
- hbase完全分布式安装配置
- 我的hbase安装之旅
- HBase安装