Hbase完全分布式配置

-----------------------------------------------------------------------------------------------------------

分布式模式配置

在进行下面配置之前需要注意的问题：

第一：首先需要建立，下面配置文件中的目录：下面配置文件需要建立的的文件：

1.hbase临时目录，这里对应的是下面配置。

这里在说一下，这个临时目录的选择，系统默认目录，容易被系统删除，所以我们需要更改默认目录。但是我们更改目录需要注意的一个问题，就是用户权限，很多人在安装的时候随便选择了一个目录，结果不能访问，所以你的hbase起来之后，过会就挂掉了。

一、新建文件，并注意权限问题

hbase临时目录

<property>

<name>hbase.tmp.dir</name>

<value>file:/usr/hbase/tmp</value>

</property>

复制代码
zookeeper目录：

<property>

<name>hbase.zookeeper.property.dataDir</name>

<value>file:/usr/hbase/zookeeper</value>

</property>

复制代码
上面文件建立后，我们看到下面效果



同时看一下这两个文件夹的权限与hadoop、hbase，都属于用户及用户组aboutyun:aboutyun



二、每个节点都必须创建文件夹,否则也会出现regionserver自动挂机。

上面说了注意的问题，下面开始配置(先配置master节点)

1.1首先下载hbase

链接: http://pan.baidu.com/s/1sjubg0t 密码:
crxs

1.2上传压缩包到Linux

如果使用win7，则上传到Linux，这里使用的是虚拟机，通过WinSCP上传。winSCP不会使用参考新手指导：使用
WinSCP（下载） 上文件到 Linux图文教程。

1.3解压

tar zxvf hbase.tar.gz

复制代码



1.4配置conf/hbase-env.sh

进入/usr/hbase/conf，修改hbase-env.sh



export JAVA_HOME=/usr/jdk1.7

# Tell HBase whether it should manage it'sown instance of Zookeeper or not.

复制代码



不管是什么模式，你都需要编辑 conf/hbase-env.sh来告知Hbase java的安装路径.在这个文件里你还可以设置Hbase的运行环境，诸如 heapsize和其他 JVM有关的选项, 还有Log文件地址，等等. 设置 JAVA_HOME指向 java安装的路径.

一个分布式运行的Hbase依赖一个zookeeper集群。所有的节点和客户端都必须能够访问zookeeper。默认的情况下Hbase会管理一个zookeep集群。这个集群会随着Hbase的启动而启动。当然，你也可以自己管理一个zookeeper集群，但需要配置Hbase。你需要修改conf/hbase-env.sh里面的HBASE_MANAGES_ZK
来切换。这个值默认是true的，作用是让Hbase启动的时候同时也启动zookeeper.

让Hbase使用一个现有的不被Hbase托管的Zookeep集群，需要设置 conf/hbase-env.sh文件中的HBASE_MANAGES_ZK 属性为 false,这里使用的是系统自带的，所以为true

,

# Tell HBase whether it should manage it's own instanceof Zookeeper or not.

exportHBASE_MANAGES_ZK=true

复制代码



1.5配置conf/hbase-site.xml

<configuration>

<property>

<name>hbase.rootdir</name>

<value>hdfs://master:8020/hbase</value>

</property>

<property>

<name>hbase.tmp.dir</name>

<value>file:/usr/hbase/tmp</value>

</property>

<property>

<name>hbase.master</name>

<value>hdfs://master:60000</value>

</property>

<property>

<name>hbase.zookeeper.property.dataDir</name>

<value>file:/usr/hbase/zookeeper</value>

</property>

复制代码

要想运行完全分布式模式，加一个属性 hbase.cluster.distributed 设置为 true 然后把 hbase.rootdir 设置为HDFS的NameNode的位置。 例如，你的namenode运行在node1，端口是8020 你期望的目录是 /hbase,使用如下的配置：hdfs://master:8020/hbase.注释：

这个端口的确认：比如在

hadoop1.X中使用的hdfs://master:9000/

hadoop2.X中使用的hdfs://master:8020/

这个端口是由core-site.xml来决定

<property>

<name>fs.defaultFS</name>

<value>hdfs://master:8020</value>

</property>

复制代码

hbase.rootdir：这个目录是region
server的共享目录，用来持久化Hbase。URL需要是'完全正确'的，还要包含文件系统的scheme。例如，要表示hdfs中的'/hbase'目录，namenode 运行在node1的49002端口。则需要设置为hdfs://master:49002/hbase。默认情况下Hbase是写到/tmp的。不改这个配置，数据会在重启的时候丢失。默认: file:///tmp/hbase-${user.name}/hbase

hbase.cluster.distributed ：Hbase的运行模式。false是单机模式，true是分布式模式。若为false,Hbase和Zookeeper会运行在同一个JVM里面。

默认: false

在hbase-site.xml配置zookeeper：

当Hbase管理zookeeper的时候，你可以通过修改zoo.cfg来配置zookeeper，

一个更加简单的方法是在 conf/hbase-site.xml里面修改zookeeper的配置。Zookeeer的配置是作为property写在 hbase-site.xml里面的。

对于zookeepr的配置，你至少要在 hbase-site.xml中列出zookeepr的ensemble servers，具体的字段是 hbase.zookeeper.quorum. 该这个字段的默认值是 localhost，这个值对于分布式应用显然是不可以的. (远程连接无法使用)。

hbase.zookeeper.property.clientPort：ZooKeeper的zoo.conf中的配置。
客户端连接的端口。

hbase.zookeeper.quorum：Zookeeper集群的地址列表，用逗号分割。例如："host1.mydomain.com,host2.mydomain.com,host3.mydomain.com".默认是localhost,是给伪分布式用的。要修改才能在完全分布式的情况下使用。如果在hbase-env.sh设置了HBASE_MANAGES_ZK，这些ZooKeeper节点就会和Hbase一起启动。

默认: localhost

运行一个zookeeper也是可以的，但是在生产环境中，你最好部署3，5，7个节点。部署的越多，可靠性就越高，当然只能部署奇数个，偶数个是不可以的。你需要给每个zookeeper 1G左右的内存，如果可能的话，最好有独立的磁盘。 (独立磁盘可以确保zookeeper是高性能的。).如果你的集群负载很重，不要把Zookeeper和RegionServer运行在同一台机器上面。就像DataNodes
和 TaskTrackers一样

hbase.zookeeper.property.dataDir：ZooKeeper的zoo.conf中的配置。
快照的存储位置

把ZooKeeper保存数据的目录地址改掉。默认值是 /tmp ，这里在重启的时候会被操作系统删掉，可以把它修改到 /home/hadoop/zookeeper (这个路径hadoop用户拥有操作权限)

对于独立的Zookeeper，要指明Zookeeper的host和端口。可以在 hbase-site.xml中设置, 也可以在Hbase的CLASSPATH下面加一个zoo.cfg配置文件。 HBase 会优先加载 zoo.cfg 里面的配置，把hbase-site.xml里面的覆盖掉.

1.6配置conf/regionservers

slave1

slave2



完全分布式模式的还需要修改conf/regionservers. 在这里列出了你希望运行的全部 HRegionServer，一行写一个host (就像Hadoop里面的 slaves 一样). 列在这里的server会随着集群的启动而启动，集群的停止而停止.

1.7替换hadoop的jar包

hbase基本的配置完了。

查看hbase的lib目录下。

ls lib |grep hadoop

hadoop-annotations-2.1.0-beta.jar

hadoop-auth-2.1.0-beta.jar

hadoop-client-2.1.0-beta.jar

hadoop-common-2.1.0-beta.jar

hadoop-hdfs-2.1.0-beta.jar

hadoop-hdfs-2.1.0-beta-tests.jar

hadoop-mapreduce-client-app-2.1.0-beta.jar

hadoop-mapreduce-client-common-2.1.0-beta.jar

hadoop-mapreduce-client-core-2.1.0-beta.jar

hadoop-mapreduce-client-jobclient-2.1.0-beta.jar

hadoop-mapreduce-client-jobclient-2.1.0-beta-tests.jar

hadoop-mapreduce-client-shuffle-2.1.0-beta.jar

hadoop-yarn-api-2.1.0-beta.jar

hadoop-yarn-client-2.1.0-beta.jar

hadoop-yarn-common-2.1.0-beta.jar

hadoop-yarn-server-common-2.1.0-beta.jar

hadoop-yarn-server-nodemanager-2.1.0-beta.jar

看到它是基于hadoop2.1.0的，所以我们需要用我们的hadoop2.2.0下的jar包来替换2.1的，保证版本的一致性，hadoop下的jar包都是在$HADOOP_HOME/share/hadoop下的.

我们先cd 到 /home/hadoop/hbase-0.96.0-hadoop2/lib下运行命令： rm -rf hadoop*.jar删掉所有的hadoop相关的jar包，然后运行：

find /home/hadoop/hadoop-2.2.0/share/hadoop -name "hadoop*jar" | xargs -i cp {} /home/hadoop/hbase-0.96.0-hadoop2/lib/

拷贝所有hadoop2.2.0下的jar包hbase下进行hadoop版本的统一

注意的问题：

由于包之间的重复，后面使用还会产生问题，如下：

hbase使用遇到 Class path contains multiple SLF4J
bindings.错误解决方案

所以我们还需要运行下面命令：

（对于新手总想直接复制命令就像万事大吉，这里面需要注意的问题：

路径，如果hbase位于usr下面，是没有问题的。但是如果更换了路径，注意红字部分你需要修改。

）

/usr/hbase/lib rm slf4j-log4j12-1.6.4.jar

1.8分发hbase

上面我们配置完毕，接着就是把这个文件夹下发到slave节点

scp /usr/hbase slave1:~/

复制代码
然后在从～/hbase移动到 /usr路径中。

2. 运行和确认安装

2.1当Hbase托管ZooKeeper的时候

当Hbase托管ZooKeeper的时候Zookeeper集群的启动是Hbase启动脚本的一部分

首先确认你的HDFS是运行着的。你可以运行HADOOP_HOME中的 bin/start-hdfs.sh 来启动HDFS.你可以通过put命令来测试放一个文件，然后有get命令来读这个文件。通常情况下Hbase是不会运行mapreduce的。所以需要检查这些。

用如下命令启动Hbase:

bin/start-hbase.sh

这个脚本在HBASE_HOME目录里面。

你现在已经启动Hbase了。Hbase把log记在 logs 子目录里面. 当Hbase启动出问题的时候，可以看看Log.

Hbase也有一个界面，上面会列出重要的属性。默认是在Master的60010端口上H (HBase RegionServers 会默认绑定 60020端口，在端口60030上有一个展示信息的界面 ).如果Master运行在 node1，端口是默认的话，你可以用浏览器在 http://node:60010看到主界面. .

一旦Hbase启动，可以看到如何建表，插入数据，scan你的表，还有disable这个表，最后把它删掉。

可以在Hbase Shell停止Hbase

$./bin/stop-hbase.sh

stoppinghbase...............

停止操作需要一些时间，你的集群越大，停的时间可能会越长。如果你正在运行一个分布式的操作，要确认在Hbase彻底停止之前，Hadoop不能停.

2.2独立的zookeeper启动（如果另外安装，可以选此）

除了启动habse，

执行：bin/start-hbase.sh启动habse

你需要自己去运行zookeeper：

${HBASE_HOME}/bin/hbase-daemons.sh {start,stop} zookeeper

你可以用这条命令启动ZooKeeper而不启动Hbase. HBASE_MANAGES_ZK 的值是 false， 如果你想在Hbase重启的时候不重启ZooKeeper,你可以这样。

3. 测试

可以使用jps查看进程：在master上：



在slave1，slave2（slave节点）上





通过浏览器查看60010端口：





4. 安装中出现的问题

1 ）用./start-hbase.sh启动HBase后，执行hbase shell

# bin/hbase shell

HBase Shell; enter 'help<RETURN>' for list of supported commands.

Version: 0.20.6, rUnknown, Thu Oct 28 19:02:04 CST 2010

复制代码

接着创建表时候出现如下情况：

hbase(main):001:0> create 'test',''c

复制代码

NativeException: org.apache.hadoop.hbase.MasterNotRunningException: null

jps下，发现主节点上HMaster没有启动，查理HBase log（logs/hbase-hadoop-master-ubuntu.log）里有下面异常：

FATAL org.apache.hadoop.hbase.master.HMaster: Unhandled exception. Starting shutdown.

java.io.IOException: Call to node1/10.64.56.76:49002 failed on local exception: java.io.EOFException

解决：

从hadoop_home/下面cp一个hadoop/hadoop-core-0.20.203.0.jar到hbase_home/lib下。

因为Hbase建立在Hadoop之上，所以他用到了hadoop.jar,这个Jar在 lib 里面。这个jar是hbase自己打了branch-0.20-append 补丁的hadoop.jar. Hadoop使用的hadoop.jar和Hbase使用的 必须 一致。所以你需要将 Hbaselib
目录下的hadoop.jar替换成Hadoop里面的那个，防止版本冲突。比方说CDH的版本没有HDFS-724而branch-0.20-append里面有，这个HDFS-724补丁修改了RPC协议。如果不替换，就会有版本冲突，继而造成严重的出错，Hadoop会看起来挂了。

再用./start-hbase.sh启动HBase后，jps下，发现主节点上HMaster还是没有启动，在HBase log里有下面异常：

FATAL org.apache.hadoop.hbase.master.HMaster: Unhandled exception. Starting shutdown.

java.lang.NoClassDefFoundError: org/apache/commons/configuration/Configuration

解决：

在NoClassDefFoundError,缺少 org/apache/commons/configuration/Configuration

果断给他加一个commons-configuration包，

从hadoop_home/lib下面cp一个hadoop/lib/commons-configuration-1.6.jar到hbase_home/lib下。

（集群上所有机子的hbase配置都需要一样）

创建表报错：

ERROR: java.io.IOException: Table Namespace Manager not ready yet, try again later

at org.apache.hadoop.hbase.master.HMaster.getNamespaceDescriptor(HMaster.java:3101)

at org.apache.hadoop.hbase.master.HMaster.createTable(HMaster.java:1738)

at org.apache.hadoop.hbase.master.HMaster.createTable(HMaster.java:1777)

at org.apache.hadoop.hbase.protobuf.generated.MasterProtos$MasterService$2.callBlockingMethod(MasterProtos.java:38221)

at org.apache.hadoop.hbase.ipc.RpcServer.call(RpcServer.java:2146)

at org.apache.hadoop.hbase.ipc.RpcServer$Handler.run(RpcServer.java:1851)

解决：

1） 查看集群的所有机器上，

HRegionServer和HQuorumPeer进程是否都启动？

2）查看集群的所有机器的logs是不是有错误消息；

tail -f hbase-hadoop-regionserver-XXX..log

2 注意事项：

1）、先启动hadoop后，再开启hbase

2）、去掉hadoop的安全模式：hadoop dfsadmin -safemode leave

3）、把/etc/hosts里的ubuntu的IP改为服务器当前的IP

4) 、确认hbase的hbase-site.xml中

<name>hbase.rootdir</name>

<value>hdfs://node：49002/hbase</value>

与hadoop的core-site.xml中

<name>fs.default.name</name>

<value>hdfs://node：49002/hbase</value>

红字部分保持一致

<value>hdfs://localhost:8020/hbase</value>

否则报错：java.lang.RuntimeException: HMaster Aborted

6)、重新执行./start-hbase.sh之前，先kill掉当前的hbase和zookeeper进程

PS：遇到问题时，先查看logs，很有帮助。

原文地址：http://www.aboutyun.com/thread-7746-1-1.html