CentOS 集群安装hadoop-2.6.0 心得

CentOS 集群安装hadoop-2.6.0 步骤记录

0. 背景介绍

7台服务器,操作系统CentOS 6.6版本 64位;

硬件配置:Intel(R) Xeon(R) CPU E5-2660 v2 @ 2.20GHz,CPU MHZ:2201.00,cache :25600 KB,CPUcore:10;MemTotal:132132104
kB,MemFree:124365240 kB;

IP 地址分布及机器名:

pHPC4 10.18.109.104

pHPC5 10.18.109.105

pHPC6 10.18.109.106

pHPC7 10.18.109.107

pHPC8 10.18.109.108

pHPC9 10.18.109.109

硬件配置:Intel(R) Xeon(R) CPU E5-2660 v2 @ 2.20GHz,CPU MHZ:2201.00,cache :25600 KB,CPUcore:10;MemTotal:132132104
kB,MemFree:124365240 kB;

IP 地址分布及机器名:

pHPC4 10.18.109.104

pHPC5 10.18.109.105

pHPC6 10.18.109.106

pHPC7 10.18.109.107

pHPC8 10.18.109.108

pHPC9 10.18.109.109

计划:pHPC4部署Master,其余5台部署slave.

1. jdk安装

首先Hadoop运行需要Java的支持，所以必须在集群中所有的节点安装JDK.

集群内所有节点JDK安装路径统一如下:/usr/local/java

安装步骤:

a. 源码准备: 下载路径(jkd1.8.0_25)

b. 创建安装路径并解压源码到所创建路径:

创建路径:mkdir /usr/local/java

c. 复制源码到: /usr/local/java 并解压:

复制: cp jdk-8u25-linux-x64.tar.gz /usr/local/java

解压: sudo tar xvf jdk-8u25-linux-x64.tar.gz

删除源码：rm -r -f jdk-8u25-linux-x64.tar.gz

d. 配置环境变量(采用全局设置方法，它是是所有用户的共用的环境变量)

打开配置文件:sudo gedit ~/.bashrc

配置如下：

export JAVA_HOME=/usr/local/java/jdk1.8.0_25

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:$PATH

e. 查看：java -version

2. 配置hosts

a. 配置hosts

命令： sudo vim /etc/hosts

b. 添加：
10.18.109.104 pHPC4

10.18.109.105 pHPC5

10.18.109.106 pHPC6

10.18.109.107 pHPC7

10.18.109.108 pHPC8

10.18.109.109 pHPC9

3. ssh 无密码连接

Hadoop需要使用ssh，通信，这里建立pHPC4(master)与pHPC5(slave)节点之间ssh无密码相互通信：

a. 安装环境

安装ssh: yum install ssh

安装rsync: yum install rsync

b. 生产密钥(在pHPC0下)

命令： ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa （产生一个私钥、公钥）

c. 拷贝公钥(进入~/.ssh/目录，将公钥(id_dsa.pub)拷贝到需要建立ssh连接的节点目录：~/.ssh/，并命名为id_dsa_0.pub)

命令： scp id_dsa.pub root@10.18.109.104:~/.ssh/id_dsa_0.pub

d. 导入私钥(进入pHPC4的~/.ssh/目录，导入私钥)

命令： cat id_dsa_0.pub >> autauthorized_keys

以同样方法建立其余各节点之间的ssh无密码连接。

4. Hadoop 的安装

a. 下载Hadoop-2.6.0：下载路径

b. 解压安装(安排统一安装路径：/usr/local/hadoop-2.6.0)

进入目录: cd /usr/local/

解压： tar xzfv hadoop-2.6.0.tar.gz

c. 配置

(1).修改hadoop-2.6.0/etc/hadoop/hadoop-env.sh，添加JDK支持：

export
JAVA_HOME=/usr/java/jdk1.8.0_25

(2).
修改hadoop-2.6.0/etc/hadoop/core-site.xml:

<configuration>

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/local/hadoop-2.6.0/tmp</value>

</property>

<property>

<name>fs.default.name</name>

<value>hdfs://10.18.109.104:9000</value>

</property>

<property>

<name>fs.defaultFS</name>

<value>hdfs://localhost:9000</value>

</property>

</configuration>



(3).
修改hadoop-2.6.0/etc/hadoop/hdfs-site.xml:

<configuration>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:/usr/local/hadoop-2.6.0/dfs/name</value>

</property>

<property>

<name>dfs.name.dir</name>

<value>/usr/local/hadoop-2.6.0/dfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>/usr/local/hadoop-2.6.0/dfs/data</value>

</property>

<property>

<name>dfs.data.dir</name>

<value>/usr/local/hadoop-2.6.0/dfs/data</value>

</property>

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

(3). 修改hadoop-2.6.0/etc/hadoop/mapred-site.xml(由于2.6.0中没有这个配置文件，先建立一个):

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

<property>

<name>mapred.job.tracker</name>

<value>10.18.109.104:9001</value>

</property>

</configuration>

(5).修改hadoop-2.6.0/etc/hadoop/master

首先建立一个master文件：touch
master

在其中列出所有的master节点：

10.18.109.104

(6).修改hadoop-2.6.0/etc/hadoop/slaves
首先建立一个slaves文件：touch slaves

在其中列出所有的slaves节点：
10.18.109.105

10.18.109.106

10.18.109.107

10.18.109.108

10.18.109.109

(7).
至此配置工作做完，接着将配置好的hadoop文件夹拷贝到所有的slaves节点上：
下面以pHPC5为例：
拷贝命令：scp
-r /usr/local/hadoop-2.6.0 root@10.18.109.105:/usr/local/hadoop-2.6.0

依次拷贝到所有slave节点。

5. 启动Hadoop

a. 格式化HDFS文件系统的namenode
进入hadoop-2.6.0目录：cd hadoop-2.6.0
格式化： bin/hdfs namenode -format

b. 启动Hadoop集群
开启进程：sbin/start-dfs.sh

补充一点，空闲时关闭进程：sbin/stop-dfs.sh

我们可以通过网页来查看安装配置是否正常：http://10.18.109.100:50070/

番外篇：

32位Ubuntu14.04下 编译hadoop源码：点此下载
hadoop-2.6.0-src.tar.gz
a. 安装maven

命令：sudo
apt-get install maven

验证：mvn
--version

b. 安装依赖库

命令：sudo apt-get install g++ autoconf automake libtool cmake zlib1g-dev pkg-config libssl-dev

c. 安装openssh

命令：sudo
apt-get install openssh-server

d.安装protoco

命令：sudo apt-get install protobuf-compiler

验证：protoc --version

e. 安装ANT

命令：sudo apt-get install ant

或者采用手动安装

(1). 下载最新版：http://ant.apache.org/bindownload.cgi

(2). 解压：tar
-xf apache-ant-1.8.2-bin.tar.gz

(3). 移动到指定文件夹：sudo
mv apache-ant-1.8.2 /usr/local/apache-ant

(4). 配置环境变量：sudo
vim /etc/profile

添加如下内容：

export ANT_HOME=/usr/local/apache-ant/apache-ant-1.8.2

(5). 验证是否成功：ant
-version

f. 进入编译

命令：mvn clean package -Pdist,native -DskipTests -Dtar

编译好的文件在：hadoop-2.6.0-src/hadoop-dist/target