hbase集群安装

1.基本信息

版本	1.2.4
安装机器	三台机器
账号	hadoop
源路径	/opt/software/hbase-1.2.4-bin.tar.gz
目标路径	/opt/hbase -> /opt/hbase-1.2.4
依赖关系	zookeeper  hadoop

2.安装过程
1).使用hadoop账号解压到/opt/hadoop目录下并设置软连接：

[root@bgs-5p173-wangwenting opt]# su hadoop
[hadoop@bgs-5p173-wangwenting opt]$ cd /opt/software
[hadoop@bgs-5p173-wangwenting software]$ tar -zxvf hbase-${version}-bin.tar.gz -C /opt
[hadoop@bgs-5p173-wangwenting software]$ cd /opt
[hadoop@bgs-5p173-wangwenting opt]$ ln -s  hbase-${version}/   hbase

2).进入/opt/hbase/conf目录,修改hbase-env.sh文件内容:

[hadoop@bgs-5p173-wangwenting opt]$ cd /opt/hbase/conf
[hadoop@bgs-5p173-wangwenting opt]$ vim hbase-env.sh

export JAVA_HOME=/opt/java
export HBASE_PID_DIR=/opt/hbase/pids
export HADOOP_HOME=/opt/hadoop
export HBASE_HOME=/opt/hbase
export HBASE_MANAGES_ZK=false   #不适用hbase自带的zookeeper，所以这里设置false。

一个分布式运行的HBase依赖一个zookeeper集群。所有的节点和客户端都必须能够访问zookeeper。默认的情况下HBase会管理一个zookeep集群。这个集群会随着HBase的启动而启动。当然，你也可以自己管理一个zookeeper集群，但需要配置HBase。你需要修改

conf/hbase-env.sh

里面的

HBASE_MANAGES_ZK

 来切换。这个值默认是true的，作用是让HBase启动的时候同时也启动zookeeper。

让HBase使用一个已有的不被HBase托管的Zookeep集群，需要设置 

conf/hbase-env.sh

文件中的

HBASE_MANAGES_ZK

 属性为
false，如果我们已经部署过zookeeper集群，那么我们可以不使用hbase自带的zk集群。

3).修改hbase-site.xml文件内容:

[hadoop@bgs-5p173-wangwenting opt]$ vim hbase-site.xml
添加下面内容
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://bgs-5p173-wangwenting:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>bgs-5p173-wangwenting,bgs-5p174-wangwenting,bgs-5p175-wangwenting</value>
</property>
</configuration>

线上hbase配置内容：

[hadoop@namenode2 conf]$ vim hbase-site.xml
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://abfdhadoop/hbase</value>
<description>这个目录是region server的共享目录，用来持久化HBase。URL需要是'完全正确'的，还要包含文件系统的scheme。例如，要表示hdfs中的'/hbase'目录，需要设置为hdfs://example1:8020/hbase。默认情况下HBase是写到/tmp的。不改这个配置，数据会在重启的时候丢失。</description>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
<description>HBase的运行模式。false是单机模式，true是分布式模式。若为false,HBase和Zookeeper会运行在同一个JVM里面。</description>
</property>
<property>
<name>hbase.fs.tmp.dir</name>
<value>/user/${user.name}/hbase-staging</value>
</property>
<property>
<name>hbase.tmp.dir</name>
<value>/opt/hbase/tmp-dir</value>
<description>本地文件系统的临时文件夹。可以修改到一个更为持久的目录上。(/tmp会在重启时清除)</description>
</property>
<property>
<
db4f
;name>hbase.local.dir</name>
<value>${hbase.tmp.dir}/local/</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>kafzook2.abfd,kafzook3.abfd,kafzook4.abfd,kafzook5.abfd,kafzook6.abfd</value>
<description> Zookeeper集群的地址列表，用逗号分割。例如："host1.mydomain.com,host2.mydomain.com,host3.mydomain.com".默认是localhost,是给伪分布式用的。要修改才能在完全分布式的情况下使用。如果在hbase-env.sh设置了HBASE_MANAGES_ZK，这些ZooKeeper节点就会和HBase一起启动。一般情况下我们会将HBASE_MANAGES_ZK设置为false.</description>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2181</value>
<description>ZooKeeper的zoo.conf中的配置。 客户端连接的端口</description>
</property>

<property>
<name>hbase.client.scanner.timeout.period</name>
<value>1200000</value>
</property>

<property>
<name>hbase.rpc.timeout</name>
<value>1200000</value>
</property>

<property>
<name>zookeeper.session.timeout</name>
<value>1200000</value>
<description> ZooKeeper 会话超时.HBase把这个值传递改zk集群，向他推荐一个会话的最大超时时间</description>
</property>

<property>
<name>hbase.hregion.max.filesize</name>
<value>53687091200</value>
<description>最大HStoreFile大小。若某个列族的HStoreFile增长达到这个值，这个Hegion会被切割成两个。 默认: 10G,上面我们选择50G</description>
</property>

<property>
<name>hbase.regionserver.handler.count</name>
<value>60</value>
<description>RegionServers受理的RPC Server实例数量。对于Master来说，这个属性是Master受理的handler数量</description>
</property>

<property>
<name>hbase.column.max.version</name>
<value>3</value>
</property>

<property>
<name>hbase.region.replica.replication.enabled</name>
<value>true</value>
</property>

<property>
<name>hbase.regionserver.executor.openregion.threads</name>
<value>100</value>
</property>

<!-- balance -->
<property>
<name>hbase.balancer.period</name>
<value>300000</value>
</property>

<!-- major compaction -->
<property>
<name>hbase.hregion.majorcompaction</name>
<value>0</value>
<description>majorcompaction的执行周期,如果设置成0的话表示关闭自动的compact,关闭自动的compact,写程序定时手工compact</description>
</property>

<property>
<name>hbase.hregion.memstore.block.multiplier</name>
<value>8</value>
<description>如果memstore缓存的内容大小超过flush.size的值的2倍的时候，会进行flush</description>
</property>

<property>
<name>hbase.hstore.flusher.count</name>
<value>16</value>
</property>

<property>
<name>hbase.regionserver.thread.compaction.small</name>
<value>8</value>
</property>

</configuration>

4).修改/opt/hbase/conf/regionservers文件内容: 

[hadoop@bgs-5p173-wangwenting opt]$ vim /opt/hbase/conf/regionservers
添加以下内容：
bgs-5p174-wangwenting
bgs-5p175-wangwenting

5).通过scp复制到其它两台机器上:

[hadoop@bgs-5p173-wangwenting opt]$ scp -r /opt/hbase-${version} hadoop@bgs-5p174-wangwenting:/opt
[hadoop@bgs-5p174-wangwenting opt]$ ln -s hbase-${version}/  hbase
[hadoop@bgs-5p173-wangwenting opt]$ scp -r /opt/hbase-${version} hadoop@bgs-5p175-wangwenting:/opt
[hadoop@bgs-5p175-wangwenting opt]$ ln -s hbase-${version}/  hbase

6).在bgs-5p173-wangwenting上启动hbase集群:

[hadoop@bgs-5p173-wangwenting opt]$ /opt/hbase/bin/start-hbase.sh

7).查看集群是否启动，运行jps

[hadoop@bgs-5p173-wangwenting opt]$ jps
若bgs-5p173-wangwenting如下所示：
22898 ResourceManager
20739 Jps
24383 JobHistoryServer
20286 HMaster
22722 SecondaryNameNode
22488 NameNode
[hadoop@bgs-5p174-wangwenting opt]$ jps
2141 NodeManager
3257 HRegionServer
25283 Jps
1841 DataNode
[hadoop@bgs-5p175-wangwenting opt]$ jps
2141 NodeManager
3257 HRegionServer
25283 Jps
1841 DataNode

8).使用/opt/hbase/bin/hbase shell命令测试安装结果:

[hadoop@bgs-5p173-wangwenting opt]$ /opt/hbase/bin/hbase shell

a.创建表test: 

hbase(main):002:0> create "test", "cf"
0 row(s) in 2.5840 seconds
=> Hbase::Table - test

b.列出全部表:

hbase(main):003:0> list
TABLE
test
1 row(s) in 0.0310 seconds
=> ["test"]

启动Hadoop和HBase之后，执行jps命令，已经看到有HMaster的进程，但是进入到HBase的shell，执行一个命令，会出现下面的错误：



解决方法：

进入到logs目录查看master的日志：发现一直显示下面的内容：

[hadoop@s1 logs]$ vim hbase-hadoop-master-是.log

2017-03-13 17:13:17,374 INFO org.apache.hadoop.hbase.util.FSUtils: Waiting for dfs to exit safe mode...
2017-03-13 17:13:27,377 INFO org.apache.hadoop.hbase.util.FSUtils: Waiting for dfs to exit safe mode...
2017-03-13 17:13:37,386 INFO org.apache.hadoop.hbase.util.FSUtils: Waiting for dfs to exit safe mode...
2017-03-13 17:13:47,393 INFO org.apache.hadoop.hbase.util.FSUtils: Waiting for dfs to exit safe mode...
2017-03-13 17:13:57,395 INFO org.apache.hadoop.hbase.util.FSUtils: Waiting for dfs to exit safe mode...
2017-03-13 17:14:07,409 INFO org.apache.hadoop.hbase.util.FSUtils: Waiting for dfs to exit safe mode...

原来是Hadoop在刚启动的时候，还处在安全模式造成的,手动退出Hadoop的安全模式.然后重新启动hbase服务。



重启后输入list，便不再报错了。



 

c.插入数据到test表:

hbase(main):001:0> put "test","row","cf:a","value"
0 row(s) in 0.4150 seconds

d.查看test表信息:

hbase(main):002:0> scan 'test'
ROW           COLUMN+CELL
row          column=cf:a, timestamp=1447246157917, value=value
1 row(s) in 0.0270 seconds

若hbase shell测试成功，则进入浏览器访问以下网址:http://172.24.5.173:16010/，



 

若正常显示，则hbase集群安装成功!  用ip保险一点，用域名首先要在自己的电脑host文件中配置。

9).启动thriftserver2服务