生产环境部署Hadoop+Spark+HBase+Hue

大数据平台生产环境部署指南

@(Hadoop)

总结一下在生产环境部署hadoop+Spark+Hbase+Hue等产品遇到的问题、提高效率的方法和相关的配置。

集群规划

假设现在生产环境的信息如下：

服务器数量：6

操作系统：Centos7

Master节点数：2

Zookeeper节点数：3

Slave节点数：4

划分各个机器的角色如下：

主机名 角色 运行进程

hadoop1 Master Namenode

hadoop2 Master_backup Namenode

hadoop3 Slave、Yarn Datanode、ResourceManager、NodeManager

hadoop4 Slave、Zookeeper Datanode、NodeManager、QuorumPeerMain

hadoop5 Slave、Zookeeper Datanode、NodeManager、QuorumPeerMain

hadoop6 Slave、Zookeeper Datanode、NodeManager、QuorumPeerMain

一些注意事项

尽量使用非root用户

这是为了避免出现一些安全问题，毕竟是生产环境，即使不是也养成习惯。

各个机器的用户名保持一致，需要超级用户权限时加入sudoers里面即可。

数据存放的目录和配置文件分离

一般我们在自己的虚拟机上搭建集群的时候这个可以忽略不计，但是生产机器上需要注意一下。

由于生产机一般配置都很高，几十T的硬盘很常见，但是这些硬盘都是mount上去的，如果我们按照虚拟机上的操作方式来部署的话，集群的所有数据还是会在/目录下，而这个目录肯定是不会大到哪里去，

有可能就出现跑着跑着抛磁盘空间爆满的异常，但是回头一查，90%的资源没有利用到。

所以，将集群存放数据的目录统一配置到空间大的盘上去，而配置文件保持不变，即配置文件和数据目录的分离，避免互相影响，另外在使用rsync进行集群文件同步的时候也比较方便。

规划集群部署的目录

部署之前提前将各个目录分配好，针对性的干活~

这里将Hadoop、hbase、Spark等软件安装在：/usr/local/bigdata目录下

数据存放目录配置在：/data2/bigdata下

这里的/data2为mount上去的硬盘

集群部署

这里使用的各个软件版本号为：

Zookeeper3.4.5

Hadoop2.2.0

HBase0.98

Spark1.4.1

Hive1.2.1

Hue3.7.0

必要准备

1、修改主机名和IP的映射关系

编辑/etc/hosts文件，确保各个机器主机名和IP地址的映射关系

2、防火墙设置

生产环境上防火墙不可能关闭，所以查考下方的端口表让网络管理员开通吧~

P.S. 当然如果你不care的话直接关防火墙很省事，不过不推荐。。

3、JDK的配置

先检查一下生产机上有没有预装了OpenJDK，有的话卸了吧~

rpm -qa | grep OracleJDK

1

把出现的所有包都

rpm -e --nodeps

1

卸载掉。

重新安装OracleJDK，版本没有太高要求，这里使用1.7。

到Oracle官网下载对应版本的JDK之后在安装在/usr/local下面，在~/.bash_profile中配置好环境变量，输入Java -version出现对应信息即可。

4、ssh免密码登陆

这个步骤如果机器比较多的话就会很烦了，现在各个机器上生成ssh密钥：

ssh-keygen -t rsa

1

一路回车保存默认目录：~/.ssh

通过ssh将各个机器的公钥复制到hadoop1的~/.ssh/authorized_keys中，然后发放出去：

#本机的公钥 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys #各个节点的公钥 ssh hadoopN cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys #复制完之后将authorized_keys发放给各个节点 scp ~/.ssh/authorized_keys hadoopN:~/.ssh/authorized_keys

1
2
3
4
5
6

测试：

ssh date hadoop2

1

如果出现权限问题尝试使用：

chmod -R 700 ~/.ssh

1

Zookeeper

将zk上传到/usr/local/bigdata中解压缩

进入conf目录，修改zoo.cfg：

cp zoo_sample.cfg zoo.cfg vim zoo.cfg #修改： dataDir=/data2/bigdata/zookeeper/tmp ticktickTime=20000 #在最后添加： server.1=hadoop4:2888:3888 server.2=hadoop5:2888:3888 server.3=hadoop6:2888:3888

1
2
3
4
5
6
7
8
9
10

ticktickTime默认为2000，2-20倍的minSessionTimeout与maxSessionTimeout

注： tickTime 心跳基本时间单位毫秒，ZK基本上所有的时间都是这个时间的整数倍。

zk的详细配置见：

zookeeper配置文件详解

创建配置的dataDir：

mkdir /data2/bigdata/zookeeper/tmp touch /data2/bigdata/zookeeper/tmp/myid echo 1 > /data2/bigdata/zookeeper/tmp/myid

1
2
3

配置结束，将Zookeeper传到hadoop5、6上，创建dataDir并修改myid为2、3

启动

在hadoop4、5、6上进入zk的bin目录：

./zkServer.sh start ./zkServer.sh status

1
2

正确的结果应该是一个leader，两个follower

Hadoop

上传hadoop包到/usr/local/bigdata并解压缩，进入etc/hadoop目录

hadoop-env.sh

考虑到数据和程序的分离，决定将那些会不断增长的文件都配置到/data2/bigdata/hadoop下，包括：日志文件，pid目录，journal目录。

所以在此文件中需要配置：

JAVA_HOME

HADOOP_PID_DIR

HADOOP_LOG_DIR

HADOOP_CLASSPATH

HADOOP_CLASSPATH根据需要配置其他jar包的路径

yarn-en.sh

YARN_LOG_DIR

YARN_PID_DIR

其他五个核心文件内容如下：

core-site.xml：

<configuration>  <property> <name>fs.defaultFS