搭建3个节点的hadoop集群(完全分布式部署)--3 zookeeper与hbase安装
2018-04-02 13:18
1316 查看
zookeeper安装比较顺利,hbase安装好后总是运行不了,HMaster起来马上又掉了,折腾了两天终于搞定,下面详细介绍下这两个组件的安装。
1.zookeeper
在apache官网下载zookeeper组件,我下载的版本是:zookeeper-3.4.10.tar.gz
scp上传到elephant节点的opt目录下面。
解压缩 tar -zxvf zookeeper-3.4.10.tar.gz
mv zookeeper-3.4.10 /opt/zookeeper
最终zookeeper的安装目录在/opt/zookeeper#cp zoo_sample.cfg zoo.cfg
scp /opt/zookeeper root@tiger:/opt/启动zookeeper并查看状态#./zkServer.sh start
#./zkServer.sh status到此,zookeeper安装完成。
2.安装hbase
下载hbase安装文件,我下载的版本是hbase-1.2.6-bin.tar.gz
文件传到elephant节点的/opt目录
mv hbase-1.2.6-bin /opt/hbase
hbasede 安装目录为/opt/hbase
修改配置文件hbase-env.sh,设置hbase的运行环境# vim hbase-env.sh
我们先cd 到 hadoop安装目录的jar包相关目录: rm -rf hadoop*.jar删掉所有的hadoop相关的jar包,然后运行:find /home/hadoop/hadoop-2.2.0/share/hadoop -name "hadoop*jar" | xargs -i cp {} /home/hadoop/hbase-0.96.0-hadoop2/lib/ 拷贝所有hadoop2.2.0下的jar包hbase下进行hadoop版本的统一
然后把配置好的、opt/hbase文件夹scp到另外两个节点#scp /opt/hbase root@monkey:/opt/
#scp /opt/hbase root@tiger:/opt/到此,hbase安装完成。
启动hbase
#cd /opt/hbase
#bin/start-hbase.sh
1.zookeeper
在apache官网下载zookeeper组件,我下载的版本是:zookeeper-3.4.10.tar.gz
scp上传到elephant节点的opt目录下面。
解压缩 tar -zxvf zookeeper-3.4.10.tar.gz
mv zookeeper-3.4.10 /opt/zookeeper
最终zookeeper的安装目录在/opt/zookeeper#cp zoo_sample.cfg zoo.cfg
#vim zoo.cfg
# The number of milliseconds of each tick tickTime=2000 # The number of ticks that the initial # synchronization phase can take initLimit=10 # The number of ticks that can pass between # sending a request and getting an acknowledgement syncLimit=5 # the directory where the snapshot is stored. # do not use /tmp for storage, /tmp here is just # example sakes. dataDir=/opt/zookeeper/data #与hbase中配置文件hbase-site.xml参数hbase.zookeeper.property.dataDir一致, # the port at which the clients will connect clientPort=2181 server.1=elephant:2888:3888 server.2=monkey:2888:3888 server.3=tiger:2888:3888 # the maximum number of client connections. # increase this if you need to handle more clients #maxClientCnxns=60 # # Be sure to read the maintenance section of the # administrator guide before turning on autopurge. # # http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance # # The number of snapshots to retain in dataDir #autopurge.snapRetainCount=3 # Purge task interval in hours # Set to "0" to disable auto purge feature #autopurge.purgeInterval=1复制zookeeper文件到另外两个节点scp /opt/zookeeper root@monkey:/opt/
scp /opt/zookeeper root@tiger:/opt/启动zookeeper并查看状态#./zkServer.sh start
#./zkServer.sh status到此,zookeeper安装完成。
2.安装hbase
下载hbase安装文件,我下载的版本是hbase-1.2.6-bin.tar.gz
文件传到elephant节点的/opt目录
mv hbase-1.2.6-bin /opt/hbase
hbasede 安装目录为/opt/hbase
修改配置文件hbase-env.sh,设置hbase的运行环境# vim hbase-env.sh
export JAVA_HOME=/opt/jdk1.8.0_121 export HBASE_PID_DIR=/opt/hbase/pids export HBASE_CLASSPATH=/opt/hadoop-2.7.5/etc/hadoop # Tell HBase whether it should manage it's own instance of Zookeeper or not. export HBASE_MANAGES_ZK=false
设置hbase-site.xml
#vim hbase-site.xml
<configuration> <property> <name>hbase.rootdir</name> <!-- hbase存放数据目录 --> <value>hdfs://192.168.205.136:9000/hbase</value> <!-- 端口要和Hadoop的fs.defaultFS端口一致--> </property> <property> <name>hbase.cluster.distributed</name> <!-- 是否分布式部署 --> <value>true</value> </property> <property> <name>hbase.zookeeper.property.clientPort</name> <value>2181</value> <description>Property from ZooKeeper's config zoo.cfg. The port at which the clients will connect. </description> </property> <property> <name>hbase.master</name> <!-- 是否分布式部署 --> <value>hdfs://elephant:60000</value> </property> <property> <name>hbase.zookeeper.quorum</name> <!-- list of zookooper --> <value>elephant,monkey,tiger</value> </property> <property><!--zookooper配置、日志等的存储位置 --> <name>hbase.zookeeper.property.dataDir</name> <value>/opt/zookeeper/data</value> </property> <property><!--zookooper配置、日志等的存储位置 --> <name>hbase.tmp.dir</name> <value>/opt/hbase/tmpdata</value> </property> </configuration>设置regionservers
#vim regionservers
monkey tiger
修改环境变量
#vim /etc/profile export JAVA_HOME=/opt/jdk1.8.0_121 export JRE_HOME=/opt/jdk1.8.0_121/jre export HADOOP_HOME=/opt/hadoop-2.7.5 export HBASE_HOME=/opt/hbase export ZOOKEEPER_HOME=/opt/zookeeper export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$ZOOKEEPER_HOME/bin:$HBASE_HOME/bin:$JRE_HOME/lib:$CLASSPATH export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH #source etc/profilejar包替换,为了避免版本兼容问题,我们需要把hadoop文件中所有hadoop*.jar替换hbase文件中lib目录下的相应hadoop*.jar包。
我们先cd 到 hadoop安装目录的jar包相关目录: rm -rf hadoop*.jar删掉所有的hadoop相关的jar包,然后运行:find /home/hadoop/hadoop-2.2.0/share/hadoop -name "hadoop*jar" | xargs -i cp {} /home/hadoop/hbase-0.96.0-hadoop2/lib/ 拷贝所有hadoop2.2.0下的jar包hbase下进行hadoop版本的统一
然后把配置好的、opt/hbase文件夹scp到另外两个节点#scp /opt/hbase root@monkey:/opt/
#scp /opt/hbase root@tiger:/opt/到此,hbase安装完成。
启动hbase
#cd /opt/hbase
#bin/start-hbase.sh
相关文章推荐
- 搭建3个节点的hadoop集群(完全分布式部署)--2安装mysql及hive
- 搭建3个节点的hadoop集群(完全分布式部署)5 flume安装及flume导数据到hdfs
- 完全分布式Hadoop集群的安装搭建和配置(4节点)
- 【Hadoop2.7.0、Zookeeper3.4.6、JDK1.7】搭建完全分布式的hadoop,HA部署安装,自动备援
- 基于hadoop集群的Hive1.2.1、Hbase1.2.2、Zookeeper3.4.8完全分布式安装
- Hadoop、ZooKeeper、Hive、HBase 七节点分布式集群搭建
- hadoop-2.6.0+zookeeper-3.4.6+hbase-1.0.0+hive-1.1.0完全分布式集群HA部署
- hadoop+hbase+zookeeper 分布式集群搭建 + eclipse远程连接hdfs 完美运行
- hadoop-2.7.1+zookeeper-3.4.8+hbase-1.2.1+apache-hive-2.0.0完全分布式集群
- Hadoop2.7.2 Centos 完全分布式集群环境搭建 (2) - Hadoop安装与配置(完全分布式)
- Hadoop生态系统搭建(5)—— 分布式协同服务框架 Zookeeper 的安装部署与测试
- Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程
- 完全分布式安装Hadoop,Hive,Hbase,Hwi,Zookeeper
- hadoop,zookeeper,hbase搭建完全分布式集群回忆录
- Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程~(心血之作啊~~)
- Hadoop生态系统搭建(4)——高性能分布式 NoSQL 数据库 HBase 的安装部署与测试
- 完全分布式安装Hadoop,Hive,Hbase,Hwi,Zookeeper-500行说明
- 伪分布式集群环境hadoop、hbase、zookeeper搭建(全)
- 大数据: 完全分布式Hadoop集群-HBase安装
- Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程~(心血之作啊~~)