Hdfs分布式环境搭建与一键安装脚本的编写

Hadoop介绍

  Hadoop 是目前比较流行的大数据分布式处理软件框架。这套框架异常的可靠，在假设数据元素和存储会失效的情况下，维护多个工作数据副本，确保能够针对失败的节点重新分布处理。同时以并行处理提高处理速度，最高能能够处理 PB 级数据。

  Hadoop 主要由三个部分组成：

1、HDFS

2、MapReduce

3、Hbase

  HDFS（Hadoop Distributed File System)为分布式计算存储提供了底层支持。存储在 HDFS 中的文件被分成块（通常为 64MB），然后将这些块复制到多个计算机中（DataNode）。块的大小和复制的块数量在创建文件时由客户机决定。NameNode 可以控制所有文件操作。HDFS 内部的所有通信都基于标准的 TCP/IP 协议。

    MapReduce从名字上看就是map(任务的分解)与reduce(结果的汇总)的结合，提供了一个海量数据处理的编程模型框架。基于该框架能够容易地编写应用程序，这些应用程序能够运行在由上千个商用机器组成的大集群上，并以一种可靠的，具有容错能力的方式并行地处理上TB级别的海量数据集。这个定义里面有着这些关键词，一是软件框架，二是并行处理，三是可靠且容错，四是大规模集群，五是海量数据集。

    HBase是一个开源的、分布式的、多版本的、面向列的存储模型。可以直接使用本地文件系统也可使用Hadoop的HDFS文件存储系统的大型数据库。

分布式环境搭建

1、安装需求

    以搭建一台master，两台slave为例，需要准备的有：

    linux机器三台，实体机与虚拟机皆可，ip最好可以固定。这里以三台centos7 64位的机器为例。

    hadoop安装包，下载地址：hadoop官方下载地址 选择某个版本 binary(已编译好的)tar包下载，这里选择hadoop-2.7.2版本

    JDK安装包JDK官方下载地址 选择linux 64位对应的tar包下载

2、hadoop的安装

    先介绍一下hadoop的安装过程便于理解脚本的编写。

安装JDK

    关于JDK的安装请参照我的另一篇博客centos7上JDK安装与一键安装脚本的编写，同样的是自己编写的一键安装脚本方式安装：centos7上JDK安装与一键安装脚本的编写

关闭防火墙

    使用 “systemctl stop firewalld” 命令关闭防火墙

设置主机名称

    使用 “hostnamectl set-hostname xxxx” 来设置主机名，这里我们吧master机器的主机名设置为master，slave机器主机名命名为slave1、slave2以此类推。

配置hosts文件

    在host文件中添加各个机器ip与的对应，这样各个机器之间就可以用主机名直接通信了。修改”/etc/hosts”文件，在文件末尾添加 “IP地址 主机名”,样式如下：

192.168.1.1 master

192.168.1.2 slave1

192.168.1.3 slave2

设置无密码登陆

    使用命令 “ssh-keygen -t rsa” ，所有的交互都直接回车，生成密钥对。默认存放路径在 “~/.ssh” 目录下,这个目录下会有”id_rsa.pub” 这个文件。如果A机器想要免密码访问B机器，把自己的”id_rsa.pub” 这个文件拷贝到B机器的 “~/.ssh”目录下，就可以免密码访问B了，从B机器上拷贝文件也不会需要密码。

设置完以上配置后，将hadoop的压缩包内容解压到/usr/hadoop目录下

修改hadoop的配置文件

    hadoop的配置文件都是xml格式的，存放在解压后目录的etc/hadoop//目录下。找到每一项的名称，修改对应的value即可。

    

    修改配置文件core-site.xml。配置其中的fs.defaultFS项，这里配置的是HDFS master（即namenode）的地址和端口号（默认9000）。其中的ip地址在修改过host文件后可以换成主机名。

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.1.1:9000</value>
</property>
</configuration>

    修改配置文件hdfs-site.xml。配置其中的dfs.replication项，这里配置的是子节点的总数目。

<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>

    修改配置文件mapred-site.xml。配置其中的mapred.job.tracker项，这里配置的是jobtracker的ip和端口（默认9001）。

configuration>
<property>
<name>mapred.job.tracker</name>
<value>192.168.1.1:9001</value>
</property>
</configuration>

    修改配置文件hadoop-env.sh，修改其中JAVA_HOME的设置，如果JAVA_HOME已经设置好了，可以跳过这一步：

把export JAVA_HOME=${JAVA_HOME}改为export JAVA_HOME=实际的JAVA_HONE路径。

    修改slaves文件，slaves即为HDFS的DataNode节点。当使用脚本start-dfs.sh来启动hdfs时，会使用到这个文件，以无密码登录方式到各slaves上启动DataNode。将slaves的节点IP（也可以是相应的主机名）一个个加进去，一行一个IP。在设置过hosts文件后，也可以一行一个主机名。

    设置完毕后格式化hadoop

    $HADOOP_HOME/bin/hadoop namenode -format

在namenode的机器上设置好hdfs后，把整个目录拷贝到各个datanode机器上即可。

一键安装脚本的编写

首先设置master的ip和slave的ip

function syni_input_master_hdfs()
{
local input_master_fail_num=0
local input_slave_fail_num=0
# 设置MASTER_IP
while [ 1 ]; do
read -p ">>Please input HDFS-master IP : " MASTER_IP
if [ ! -z "$MASTER_IP" ]; then
echo "$MASTER_IP" | grep -q -E "^([0-9]{1,2}|1[0-9][0-9]|2[0-4][0-9]|25[0-5])\.([0-9]{1,2}|1[0-9][0-9]|2[0-4][0-9]|25[0-5])\.([0-9]{1,2}|1[0-9][0-9]|2[0-4][0-9]|25[0-5])\.([0-9]{1,2}|1[0-9][0-9]|2[0-4][0-9]|25[0-5])$"
if [ $? -eq 0 ]; then
break
fi
fi
(( input_master_fail_num=input_master_fail_num+1 ))
echo "Error, MASTER_IP <$MASTER_IP> is not reachable or not valid!!"
if [ $input_master_fail_num -ge 6 ]; then
echo "ERROR, fail to input server ip $input_master_fail_num times!!"
exit 1
fi
done

read -p ">>Please input HDFS-slave total numbers : " SLAVE_NUM
for (( num=1; num<=SLAVE_NUM; num++ ))
do
# 设置SLAVE_IP
while [ 1 ]; do
read -p ">>Please input HDFS-slave${num} IP : " SLAVE_IP
if [ ! -z "$SLAVE_IP" ]; then
echo "$SLAVE_IP" | grep -q -E "^([0-9]{1,2}|1[0-9][0-9]|2[0-4][0-9]|25[0-5])\.([0-9]{1,2}|1[0-9][0-9]|2[0-4][0-9]|25[0-5])\.([0-9]{1,2}|1[0-9][0-9]|2[0-4][0-9]|25[0-5])\.([0-9]{1,2}|1[0-9][0-9]|2[0-4][0-9]|25[0-5])$"
if [ $? -eq 0 ]; then
break
fi
fi
(( input_slave_fail_num=input_slave_fail_num+1 ))
echo "Error, SLAVE_IP <$SLAVE_IP> is not reachable or not valid!!"
if [ $input_slave_fail_num -ge 6 ]; then
echo "ERROR, fail to input server ip $input_slave_fail_num times!!"
exit 1
fi
done
#修改Hosts文件,把slaves
# read
#in_url = ${HDFS_ROLE}
#in_ip = ${HDFS_IP}
local grep_result
inner_ip_map="${SLAVE_IP} "slave"${num}"
grep_result=$(cat /etc/hosts |grep "${inner_ip_map}" || echo "")
if [ -z "${grep_result}" ];then
echo ${inner_ip_map} >> /etc/hosts
if [ $? -eq 0 ]; then
let host_add_num=SLAVE_NUM+1
echo "${inner_ip_map} to hosts success host is $(tail -n ${host_add_num} /etc/hosts)"
fi
fi
done
}

未完待续。。。