您的位置:首页 > 大数据 > Hadoop

如何在基于linux系统的hadoop集群中,安装配置hbase,hive,zookeeper

2020-07-13 05:05 495 查看

配置前提

1,已经在linux虚拟机中,成功搭建了一个hadoop集群
2,已经初步在opt目录下简单解压安装了hbase,hive,zookeeper
以上2点如果没有完成的,请移步:
如何在linux虚拟机中安装hadoop,并搭建hadoop集群
3,准备好MySQL的jdbc的jar包。(版本可以不同)

我们这里以一个三台虚拟机组成的hadoop集群为例。

安装配置zookeeper

首先我们在作为主节点的虚拟机hadoop01上操作
cd /opt/zookpr/conf 进入zookeeper的安装目录下的conf目录

vi zoo_sample.cfg 修改zoo_sample.cfg

修改zoo_sample.cfg 的文件名为zoo.cfg

将修改过的zoo.cfg发送给集群中的另外两台虚拟机:hadoop02,hadoop03
并删掉hadoop02,hadoop03中的zoo_sample.cfg

然后在hadoop目录中建zookeeper数据目录(三台虚拟机都要建)

cd /zookprdata 进入刚刚创建的目录
vi myid 写出一个myid文件
三台虚拟机都如此,根据之前zoo.cfg的server配置

分别在三台虚拟机的myid中写入1,2,3
hadoop01中的myid:

hadoop02,hadoop03中的myid分别写入2,3

至此,zookeeper配置完成。
(我们等hbase配置完成后再一起测试zookeeper)

安装配置hbase

cd /opt/hbase/conf

修改hbase/conf/hbase-site.xml
vi hbase-site.xml
(以下代码中的"hadoop01,hadoop03,hadoop03"代表集群中的三台虚拟机的hostname)

<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://hadoop01 :9000/hbase</value>
<description>The directory shared by region servers.</description>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.master.port</name>
<value>60000</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>hadoop01,hadoop03,hadoop03</value>
</property>
<property>
<name>hbase.regionserver.handler.count</name>
<value>300</value>
</property>
<property>
<name>hbase.hstore.blockingStoreFiles</name>
<value>70</value>
</property>
<property>
<name>zookeeper.session.timeout</name>
<value>60000</value>
</property>
<property>
<name>hbase.regionserver.restart.on.zk.expire</name>
<value>true</value>
<description>
Zookeeper session expired will force regionserver exit.
Enable this will make the regionserver restart.
</description>
</property>
<property>
<name>hbase.replication</name>
<value>false</value>
</property>
<property>
<name>hfile.block.cache.size</name>
<value>0.4</value>
</property>
<property>
<name>hbase.regionserver.global.memstore.upperLimit</name>
<value>0.35</value>
</property>
<property>
<name>hbase.hregion.memstore.block.multiplier</name>
<value>8</value>
</property>
<property>
<name>hbase.server.thread.wakefrequency</name>
<value>100</value>
</property>
<property>
<name>hbase.master.distributed.log.splitting</name>
<value>false</value>
</property>
<property>
<name>hbase.regionserver.hlog.splitlog.writer.threads</name>
<value>3</value>
</property>
<property>
<name>hbase.hstore.blockingStoreFiles</name>
<value>20</value>
</property>
<property>
<name>hbase.hregion.memstore.flush.size</name>
<value>134217728</value>
</property>
<property>
<name>hbase.hregion.memstore.mslab.enabled</name>
<value>true</value>
</property>
</configuration>

保存退出

修改hbase/conf/hbase-env.sh
vi hbase-env.sh
添加如下6行内容:

export HBASE_HEAPSIZE=4000
export JAVA_HOME=/opt/jdk
export HBASE_OFFHEAPSIZE=1G
export HBASE_OPTS="-Xmx4g -Xms4g -Xmn128m -XX:+UseParNewGC  -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=70 -verbose:gc  -XX:+PrintGCDetails -XX:+PrintGCTimeStamps  -Xloggc:$HBASE_HOME/logs/gc-$(hostname)-hbase.log"
export HBASE_MANAGES_ZK=false
export HBASE_CLASSPATH=/opt/hadoop/etc/hadoop/conf   hadoop配置文件位置

vi log4j.properties
修改hbase/conf/log4j.properties
修改如下内容

hbase.root.logger=WARN,console
log4j.logger.org.apache.hadoop.hbase=WARN

vi regionservers
在conf/regionservers中添加所有datanode的节点
regionservers只有以下内容:

hadooop01
hadooop02
hadooop03

然后,执行以下8个scp命令,将刚刚在hadoop01上修改的文件发送到hadoop02和hadoop03上

至此,zookeeper和hbase已经配置完成了。

测试zookeeper和hbase

下面在hadoop01中操作测试zookeeper和hbase

首先,进入/opt/hadoop
cd /opt/hadoop

删除tmp目录
rm -rf tmp

输入命令:
hadoop namenode -format 重新格式化namenode
start-all.sh

然后再输入命令:
/opt/zookpr/bin/zkServer.sh start (这条命令三台虚拟机都要执行)

启动完成后分别在三台虚拟机中执行jps命令:



看到三台虚拟机jps后都比原来多出一行: QuorumPeerMain
就说明zookeeper配置成功了。

下面来测试hbase
首先在hadoop01中进入到/opt/hbase目录中
cd /opt/hbase
然后执行以下的三个命令,不报错就基本上没问题了:

如上图所示,zookeeper和hbase配置成功。

安装配置hive

在安装配置hive之前,我们需要先安装mysql:
如何在Linux虚拟机中安装MySQL
安装完MySQL之后,进入mysql数据库服务,输入以下几个命令后退出:

然后进入到hive目录
cd /opt/hive
cd conf 进入conf目录
执行命令:mv hive-env.sh.template hive-env.sh 修改名称

vi hive-env.sh

vi hive-site.xml

然后把准备好的MySQL的jdbc的jar包,放到hive的lib里面

至此,hive安装和配置成功。

测试hive

输入以下三个命令测试

不报错即成功。

内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: