hadoop集群安装hbase
2014-11-20 11:46
183 查看
1.首先我已搭建好hadoop2.2.0分布式集群、zookeeper3.4.6集群
hadoop2.2.0集群:/article/8326492.html
zookeeper3.4.6集群:/article/8326497.html
2.准备hbase压缩包,我使用的是hbase-0.96.2-hadoop2-bin.tar.gz,下载网址http://hbase.apache.org/
3.在hdfs上为hbase创建数据存储目录,启动HDFS集群实例,并创建目录/hbase,在master上执行
>start-dfs.sh
>hadoop fs -mkdir /hbase
4.解压缩hbase压缩包,并重命名为hbase:
>tar zvxf hbase-0.96.2-hadoop2-bin.tar.gz
>mv hbase-0.96.2-hadoop2 hbase
5.修改配置文件:
>vi /etc/profile 【添加如下内容】
export HBASE_HOME=/usr/hadoop/hbase
export PATH=$PATH:/usr/hadoop/hbase/bin
>source /etc/profile
注意:
在所有hbase节点上都要执行以上两步,将hbase添加到环境变量中
>vi hbase/conf/hbase-env.sh 【添加如下内容】
export JAVA_HOME=/usr/java/jdk1.7.0_25
export HBASE_CLASSPATH=$HBASE_HOME/
export HBASE_OPTS="-XX:+UseConcMarkSweepGC"
export HBASE_HEAPSIZE=128
export HBASE_MANAGES_ZK=false
>vi hbase/conf/hbase-site.xml 【添加如下内容】
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://master:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/usr/hadoop/storage/zookeeper-3.4.6/data</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>master,slave1,slave2</value>
</property>
</configuration>
>vi hbase/conf/regionservers 【添加如下内容】
slave1
slave2
6.为保证HBase的lib中的hadoop版本和HDFS集群使用的版本一致,我的$hbase_home为:/usr/hadoop/hbase:
(1)删除hbase/lib/中的hadoop-*.jar
>rm /usr/hadoop/hbase/lib/hadoop-*.jar
(2)hadoop2.2.0依赖的jar都在hadoop-2.2.0/share/hadoop目录下分类放置,复制hadoop中依赖的jar到hbase/lib中,我的$hadoop_home为:/usr/hadoop/hadoop-2.2.0
>cp /usr/hadoop/hadoop-2.2.0/share/hadoop/common/hadoop-*.jar /usr/hadoop/hbase/lib/
>cp /usr/hadoop/hadoop-2.2.0/share/hadoop/common/lib/hadoop-*.jar /usr/hadoop/hbase/lib/
>cp /usr/hadoop/hadoop-2.2.0/share/hadoop/hdfs/hadoop-*.jar /usr/hadoop/hbase/lib/
>cp /usr/hadoop/hadoop-2.2.0/share/hadoop/mapreduce/hadoop-*.jar /usr/hadoop/hbase/lib/
>cp /usr/hadoop/hadoop-2.2.0/share/hadoop/mapreduce/lib/hadoop-*.jar /usr/hadoop/hbase/lib/
>cp /usr/hadoop/hadoop-2.2.0/share/hadoop/tools/lib/hadoop-*.jar /usr/hadoop/hbase/lib/
>cp /usr/hadoop/hadoop-2.2.0/share/hadoop/yarn/hadoop-*.jar /usr/hadoop/hbase/lib/
>cp /usr/hadoop/hadoop-2.2.0/share/hadoop/yarn/lib/hadoop-*.jar /usr/hadoop/hbase/lib/
7.重命名hbase下的hbase-webapps 目录为webapps:
>mv hbase-webapps webapps
8.将配置好的hbase复制到其他机器:
>scp -r /usr/hadoop/hbase/ root@slave1:/usr/hadoop/
>scp -r /usr/hadoop/hbase/ root@slave2:/usr/hadoop/
9.启动hbase集群,确保hdfs启动和zookeeper启动,在master上启动hbase:
>./hbase/bin/start-hbase.sh
10. 查看master和slave上启动的进程:
(1)master:
>jps
(2)slave1:
>jps
(3)slave2
>jps
11.验证集群是否安装成功,看是否能进入hbase shell:
>hbase shell
hadoop2.2.0集群:/article/8326492.html
zookeeper3.4.6集群:/article/8326497.html
2.准备hbase压缩包,我使用的是hbase-0.96.2-hadoop2-bin.tar.gz,下载网址http://hbase.apache.org/
3.在hdfs上为hbase创建数据存储目录,启动HDFS集群实例,并创建目录/hbase,在master上执行
>start-dfs.sh
>hadoop fs -mkdir /hbase
4.解压缩hbase压缩包,并重命名为hbase:
>tar zvxf hbase-0.96.2-hadoop2-bin.tar.gz
>mv hbase-0.96.2-hadoop2 hbase
5.修改配置文件:
>vi /etc/profile 【添加如下内容】
export HBASE_HOME=/usr/hadoop/hbase
export PATH=$PATH:/usr/hadoop/hbase/bin
>source /etc/profile
注意:
在所有hbase节点上都要执行以上两步,将hbase添加到环境变量中
>vi hbase/conf/hbase-env.sh 【添加如下内容】
export JAVA_HOME=/usr/java/jdk1.7.0_25
export HBASE_CLASSPATH=$HBASE_HOME/
export HBASE_OPTS="-XX:+UseConcMarkSweepGC"
export HBASE_HEAPSIZE=128
export HBASE_MANAGES_ZK=false
>vi hbase/conf/hbase-site.xml 【添加如下内容】
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://master:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/usr/hadoop/storage/zookeeper-3.4.6/data</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>master,slave1,slave2</value>
</property>
</configuration>
>vi hbase/conf/regionservers 【添加如下内容】
slave1
slave2
6.为保证HBase的lib中的hadoop版本和HDFS集群使用的版本一致,我的$hbase_home为:/usr/hadoop/hbase:
(1)删除hbase/lib/中的hadoop-*.jar
>rm /usr/hadoop/hbase/lib/hadoop-*.jar
(2)hadoop2.2.0依赖的jar都在hadoop-2.2.0/share/hadoop目录下分类放置,复制hadoop中依赖的jar到hbase/lib中,我的$hadoop_home为:/usr/hadoop/hadoop-2.2.0
>cp /usr/hadoop/hadoop-2.2.0/share/hadoop/common/hadoop-*.jar /usr/hadoop/hbase/lib/
>cp /usr/hadoop/hadoop-2.2.0/share/hadoop/common/lib/hadoop-*.jar /usr/hadoop/hbase/lib/
>cp /usr/hadoop/hadoop-2.2.0/share/hadoop/hdfs/hadoop-*.jar /usr/hadoop/hbase/lib/
>cp /usr/hadoop/hadoop-2.2.0/share/hadoop/mapreduce/hadoop-*.jar /usr/hadoop/hbase/lib/
>cp /usr/hadoop/hadoop-2.2.0/share/hadoop/mapreduce/lib/hadoop-*.jar /usr/hadoop/hbase/lib/
>cp /usr/hadoop/hadoop-2.2.0/share/hadoop/tools/lib/hadoop-*.jar /usr/hadoop/hbase/lib/
>cp /usr/hadoop/hadoop-2.2.0/share/hadoop/yarn/hadoop-*.jar /usr/hadoop/hbase/lib/
>cp /usr/hadoop/hadoop-2.2.0/share/hadoop/yarn/lib/hadoop-*.jar /usr/hadoop/hbase/lib/
7.重命名hbase下的hbase-webapps 目录为webapps:
>mv hbase-webapps webapps
8.将配置好的hbase复制到其他机器:
>scp -r /usr/hadoop/hbase/ root@slave1:/usr/hadoop/
>scp -r /usr/hadoop/hbase/ root@slave2:/usr/hadoop/
9.启动hbase集群,确保hdfs启动和zookeeper启动,在master上启动hbase:
>./hbase/bin/start-hbase.sh
10. 查看master和slave上启动的进程:
(1)master:
>jps
(2)slave1:
>jps
(3)slave2
>jps
11.验证集群是否安装成功,看是否能进入hbase shell:
>hbase shell
相关文章推荐
- Hadoop集群安装&Hbase实验环境搭建【1】
- HADOOP__HBASE集群安装(自带ZOOKEEPER)
- hadoop1.2.1+zk-3.4.5+hbase-0.94.1集群安装过程详解
- 【Nutch2.3基础教程】集成Nutch/Hadoop/Hbase/Solr构建搜索引擎:安装及运行【集群环境】 分类: 1_Nutch 0_jediael开发 2015-01-24 17:24 3522人阅读 评论(1) 收藏
- CentOS下安装与配置Ganglia监控Hadoop集群及HBase
- 个人hadoop学习总结:Hadoop集群+HBase集群+Zookeeper集群+chukwa监控(包括单机、伪分布、完全分布安装操作)
- 编译运行HBase源码,安装hadoop集群
- 搭建Hbase集群(1) Hadoop的安装
- hadoop2.2.0集群基础上安装zookeeper3.4.5和hbase0.96(双机热备)
- hadoop1.2.1+zk-3.4.4+hbase-0.94.12集群安装
- HBase入门笔记(三)-- 完全分布模式Hadoop集群安装配置
- hadoop hbase hive 集群安装
- hadoop1.2.1+zookeeper-3.4.5+hbase-0.94.1集群安装过程详解
- hadoop1.2.1+zk-3.4.5+hbase-0.94.1集群安装过程详解
- hadoop+hbase+zookeeper集群安装方法
- HBase入门笔记(三)-- 完全分布模式Hadoop集群安装配置
- hadoop1.2.1+zookeeper-3.4.5+hbase-0.94.1集群安装
- hadoop1.0.4+zookeeper-3.4.5+hbase-0.94.1集群安装
- hadoop-2.5.0,hbase,hive,pig,sqoop,zookeeper 集群安装
- ubuntu安装Ganglia监控Hadoop及Hbase集群性能(安装配置)