Hadoop集群配置【四、Hbase部署】
2012-07-11 13:58
274 查看
Hbase环境部署
一、安装准备
下载cdh3版本的hbase
默认前提已经安装好cdh3版本的hadoop
master 192.168.2.25 主机名:a1
slave1 192.168.2.26 主机名:a2
slave2 192.168.2.27 主机名:a3
slave3 192.168.2.28 主机名:a4
slave4 192.168.2.29 主机名:a5
二、安装步骤(默认在master节点上进行)
解压hbase的压缩包
修改$HBASE_HOME /conf/hbase-env.sh文件
export HBASE_OPTS="-ea -XX:+UseConcMarkSweepGC -XX:+CMSIncrementalMode"
export JAVA_HOME=就是bin的上级目录,bin里面有java javac什么的
export HBASE_MANAGES_ZK=true
export HBASE_HOME=你解压的目录,就是bin的上级目录。
export HADOOP_HOME=你hadoop解压的目录,就是bin的上级目录。
修改$HBASE_HOME /conf/hbase-site.xml文件,内容如下
注意点:
1>其中首先需要注意hdfs://a1:54310/hbase这里,必须与你的Hadoop集群的core-site.xml文件配置保持完全一致才行,如果你Hadoop的hdfs使用了其它端口,请在这里也修改。再者就是Hbase该项并不识别机器IP,只能使用机器hostname才可行,即若使用a1的IP(192.168.2.25)是会抛出java错误。
2>hbase.zookeeper.quorum
的个数必须是奇数。
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://a1: 54310/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.master</name>
<value>192.168.2.25:60000</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>192.168.2.25,192.168.2.26,192.168.2.27</value>【奇数个】
</property>
</configuration>
修改$HBASE_HOME /conf/regionservers(同hadoop的slaves文件)
a1
a2
a3
a4
a5
将配置好的hbase拷贝到其他机器上
启动hbase(前提:hadoop已经启动)
三、检查Hbase是否正常工作
去bin下面执行./start-hbase.sh,然后用jps看进程是不是在Hadoop基础上增加了
HMaster,HRegionServer,HQuorumPeer
然后ssh a2 去看看是不是有HRegionServer,然后每个slave都看看。
或者你打开这个网页
http://master的IP地址:60010,这样看看RegionServer的个数对不对。
我上次出现了这个错误RegionServer只有一个,而且停掉HBase的时候slave上也停不掉。原因很可能就是你regionserver连不到master了,原因在于master上的Hosts文件127.0.0.1映射的主机名,我的错误具体参见第一章,安装提示的改了之后再试试,应该就没问题了。
一、安装准备
下载cdh3版本的hbase
默认前提已经安装好cdh3版本的hadoop
master 192.168.2.25 主机名:a1
slave1 192.168.2.26 主机名:a2
slave2 192.168.2.27 主机名:a3
slave3 192.168.2.28 主机名:a4
slave4 192.168.2.29 主机名:a5
二、安装步骤(默认在master节点上进行)
解压hbase的压缩包
修改$HBASE_HOME /conf/hbase-env.sh文件
export HBASE_OPTS="-ea -XX:+UseConcMarkSweepGC -XX:+CMSIncrementalMode"
export JAVA_HOME=就是bin的上级目录,bin里面有java javac什么的
export HBASE_MANAGES_ZK=true
export HBASE_HOME=你解压的目录,就是bin的上级目录。
export HADOOP_HOME=你hadoop解压的目录,就是bin的上级目录。
修改$HBASE_HOME /conf/hbase-site.xml文件,内容如下
注意点:
1>其中首先需要注意hdfs://a1:54310/hbase这里,必须与你的Hadoop集群的core-site.xml文件配置保持完全一致才行,如果你Hadoop的hdfs使用了其它端口,请在这里也修改。再者就是Hbase该项并不识别机器IP,只能使用机器hostname才可行,即若使用a1的IP(192.168.2.25)是会抛出java错误。
2>hbase.zookeeper.quorum
的个数必须是奇数。
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://a1: 54310/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.master</name>
<value>192.168.2.25:60000</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>192.168.2.25,192.168.2.26,192.168.2.27</value>【奇数个】
</property>
</configuration>
修改$HBASE_HOME /conf/regionservers(同hadoop的slaves文件)
a1
a2
a3
a4
a5
将配置好的hbase拷贝到其他机器上
启动hbase(前提:hadoop已经启动)
三、检查Hbase是否正常工作
去bin下面执行./start-hbase.sh,然后用jps看进程是不是在Hadoop基础上增加了
HMaster,HRegionServer,HQuorumPeer
然后ssh a2 去看看是不是有HRegionServer,然后每个slave都看看。
或者你打开这个网页
http://master的IP地址:60010,这样看看RegionServer的个数对不对。
我上次出现了这个错误RegionServer只有一个,而且停掉HBase的时候slave上也停不掉。原因很可能就是你regionserver连不到master了,原因在于master上的Hosts文件127.0.0.1映射的主机名,我的错误具体参见第一章,安装提示的改了之后再试试,应该就没问题了。
相关文章推荐
- hadoop集群部署,内存,存储配置
- ubuntu安装Ganglia监控Hadoop及Hbase集群性能(安装配置)
- hadoop2.610集群配置(包含HA和Hbase )
- 第三章:Hadoop简介及配置Hadoop-1.2.1,hbase-0.94.13集群
- 基于集群的Hadoop HBase安装与配置
- Hadoop集群部署配置文档(第1部分)
- 集群配置虚拟主机及部署Hadoop集群碰到的问题
- hbase 在三台centos7上的分布式集群的配置部署
- nutch-2.2.1 hadoop-1.2.1 hbase-0.92.1 集群部署
- Hadoop集群部署配置文档(第2部分)
- [推荐]Hadoop+HBase+Zookeeper集群的配置
- wang-----Ganglia监控Hadoop及Hbase集群性能(安装配置)
- 部署hadoop集群需要配置的文件
- hadoop-1.0.4 hbase-0.94.10 zookeeper-3.4.5集群配置
- (9)Hadoop 2.6.1 集群部署——未配置HA
- HBase入门笔记(三)-- 完全分布模式Hadoop集群安装配置
- Hbase0.98版本的安装部署配置管理(Hadoop2.3、Hbase0.98、Hive0.13整合)
- Hadoop集群安装部署与配置
- Hadoop&HBase集群linux配置优化
- Hadoop集群部署,Hbase创建表错误(Master is initializing)