centos7下安装编译并搭建hadoop2.6.0单节点伪分布式集群

cd /etc/yum.repos.d/
cp CentOS-Base.repo CentOS-Base.repo.bak（备份后，以免修改错误还可以进行还原）
vim CentOS-Base.repo

1 安装的主要环境

OS：Centos 7 64-bit

Hadoop version:2.6.0

Java:Jdk1.7.0_79

所有这些下载好的文件都放在/home/helloway/Downloads文件夹下，其对应的安装目录全放在/usr下

 

1.1    首先安装编译和安装过程所需要的所有依赖程序包：

l  在所有安装开始前，先从当前helloway用户切换到root用户，由root用户执行安装操作

sudo –s

l  更新前，进行源更换，换个镜像下载，先将原先的源备份为，再进行源的修改：

cd /etc/yum.repos.d/
cp CentOS-Base.repo CentOS-Base.repo.bak（备份后，以免修改错误还可以进行还原）
vim CentOS-Base.repo

按如下截图部分进行修改：



l  开始安装所需要的所有依赖程序包：

yum install cmake lzo-devel zlib-devel gccgcc-c++ autoconf automake libtool ncurses-devel openssl-devel libXtst1.2 Java环境配置：
l  Jdk下载地址：

http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

l  在/home/helloway/Downloads下新建java文件夹，并将/home/helloway/Downloads/java的文件所有者授权给helloway用户，将下载好的压缩文件解压缩到/home/helloway/Downloads /java/文件夹中，解压成功后，将/home/helloway/Downloads/java文件夹移动到/usr文件夹下：

cd /home/helloway/Downloads
mkdir java
chown helloway:helloway java
tar –zxvf jdk-7u79-linu
4000
x-x64.tar.gz –C java/
mv java/ /usrl  修改/etc/profile，配置java环境变量
vim /etc/profile
（文件末尾加入以下四行）
export JAVA_HOME=/usr /java/jdk1.7.0_79
export JRE_HOME=${JAVA_HOME}/jre
exportCLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATHl  使环境变量生效
source /etc/profilel  检查一下是否配置成功
java –version1.3 protobuf安装配置
l  protobuf下载地址：
https://code.google.com/p/protobuf/downloads/list
l  在/home/helloway/Downloads下新建protobuf文件夹，并将/home/helloway/Downloads/protobuf的文件所有者授权给helloway用户，将下载好的压缩文件解压缩到/home/helloway/Downloads /protobuf/文件夹中，解压成功后，将/home/helloway/Downloads/protobuf文件夹移动到/usr文件夹下：然后编译安装：

cd /home/helloway/Downloads
mkdir protobuf
chown helloway:helloway protobuf
tar –zxvf protobuf-2.5.0.tar.gz –C protobuf/
mv protobuf / /usrl  进入到protobuf的安装目录/usr/protobuf/protobuf-2.5.0
cd /usr/protobuf/ protobuf-2.5.0
./configure --prefix=/usr/（--prefix=/usr/这部分可以不写，直接执行./configure即可）
make
make check
make installl  检查是否安装成功：
protoc --version1.4 ant安装配置
l  在/home/helloway/Downloads下新建ant文件夹，并将/home/helloway/Downloads/ant的文件所有者授权给helloway用户，将下载好的压缩文件解压缩到/home/helloway/Downloads /ant/文件夹中，解压成功后，将/home/helloway/Downloads/ant文件夹移动到/usr文件夹下：

cd /home/helloway/Downloads
mkdir ant
chown helloway:helloway ant
tar –zxvf apache-ant-1.9.6-bin.tar.gz –C ant/
mv ant / /usrl  修改/etc/profile，配置ant环境变量
vim /etc/profile（文件末尾加入一行）
expoet ANT_HOME= /usr/ant/apache-ant-1.9.51.5 findbugs安装配置
l  在/home/helloway/Downloads下新建findbugs文件夹，并将/home/helloway/Downloads/findbugs的文件所有者授权给helloway用户，将下载好的压缩文件解压缩到/home/helloway/Downloads /findbugs/文件夹中，解压成功后，将/home/helloway/Downloads/findbugs文件夹移动到/usr文件夹下：

cd /home/helloway/Downloads
mkdir findbugs
chown helloway:helloway findbugs
tar –zxvf findbugs-3.0.1.tar.gz –C findbugs/
mv findbugs / /usrl  修改/etc/profile，配置ant环境变量
vim /etc/profile（文件末尾加入一行）
expoet FINDBUGS_HOME= /usr/findbugs/ findbugs-3.0.1
1.6 maven安装配置

l  在/home/helloway/Downloads下新建maven文件夹，并将/home/helloway/Downloads/maven的文件所有者授权给helloway用户，将下载好的压缩文件解压缩到/home/helloway/Downloads /maven/文件夹中，解压成功后，将/home/helloway/Downloads/maven文件夹移动到/usr文件夹下：

cd /home/helloway/Downloads
mkdir maven
chown helloway:helloway maven
tar –zxvf apache-maven-3.3.3-bin.tar.gz –Cmaven /
mv maven / /usrl  修改/usr/maven/apache-maven-3.3.3/conf目录下的settings.xml配置文件
vim / usr/maven /apache-maven-3.3.3/conf/settings.xml更改maven资料库，在<mirrors></mirros>里添加如下内容：
   <mirror>
<id>nexus-osc</id>
<mirrorOf>*</mirrorOf>
<name>Nexusosc</name>
<url>http://maven.oschina.net/content/groups/public/</url>
</mirror>
l  修改/etc/profile，配置java环境变量

vim /etc/profile（文件末尾加入一行）
expoet MAVEN_HOME= /usr/maven/ apache-maven-3.3.3l  最后在/etc/profile文件末尾加上一行
exportPATH=$JAVA_HOME/bin:$ANT_HOME/bin:$FINDBUGS_HOME/bin:$MAVEN_HOME/bin:$PATHl  使环境变量生效
source /etc/profile





注：在root用户下修改的环境变量，当切换到helloway用户时，要想环境变量生效，在每开启一次终端窗口时，必须执行一次source
/etc/profile命令，否则不生效，该命令只对当前终端生效。要想对helloway用户永久有效，则必须在执行一次source
/etc/profile命令后，注销该用户或重启一次机器才行。
2配置网络环境及ssh免密安装配置

假设单台服务器设备如下：（可以连接外网，进行通信）

hostname	IP
helloway	125.216.243.130

2.1. 配置网络环境

l  修改hostname：

vim /etc/hostnamel  修改成对应的hostname后保存文件。
helloway

l  修改hosts：

vim /etc/hosts

将其中内容全部删掉，然后在文件中加入以下1行：

125.216.243.130 helloway

2.2. SSH免密安装配置

l  退出root用户，使用helloway用户进行操作

su helloway
ssh-keygen –t rsa –P ‘’l  查看~/.ssh权限
ls –al ~l  若为700，则不做任何操作，否则执行
chmod 700 ~/.sshl  进入到.ssh目录
cd ~/.ssh
cat id_rsa.pub >> authorized_keys
chmod 600 authorized_keys注：ssh免密登陆完成
3 hadoop-2.6.0安装配置

3.1安装并编译hadoop

l  进入/home/helloway/Downloads目录，将下载好的压缩文件hadoop-2.6.0-src.tar.gz进行解压

cd /home/helloway/Downloads
tar –zxvf hadoop-2.6.0-src.tar.gzl  进入hadoop-2.6.0-src目录，然后进行编译：
cd hadoop-2.6.0-src
mvn package -DskipTests -Pdist,native（此编译过程比较久，至少1个小时）l  修改~/.bashrc，配置hadoop环境变量
vim ~/.bashrc（文件末尾加入以下2行）
export HADOOP_HOME=/home/helloway/hadoop-2.6.0
exportPATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
如下图：



l  使环境变量生效

source ~/.bashrc3.2配置hadoop
l  进入hadoop的配置目录

cd ~/hadoop-2.6.0/etc/hadoop/ （其中~表示当前用户主目录，即：/home/hadoop）l  修改上图中红色方框中的core-site.xml：
vim core-site.xml内容如下：
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://helloway:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/helloway/hadoop-2.6.0/tmp</value>
</property>
</configuration>



l  修改上图中红色方框中的hdfs-site.xml：

vim hdfs-site.xml内容如下：
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/helloway /hadoop-2.6.0/dfs/name</value>
</property>

<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/helloway/hadoop-2.6.0/dfs/data</value>
</property>

<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

l  将上图红色方框中mapred-site.xml.template文件一份复制为mapred-site.xml
cp mapred-site.xml.template mapred-site.xml修改mapred-site.xml：
vim mapred-site.xml内容如下：
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>l  修改上图中红色方框中的yarn-site.xml：
vim yarn-site.xml内容如下：
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>l  修改上图中红色方框中的hadoop-env.sh：
vim vim yarn-env.sh将其中的export JAVA_HOME改为export JAVA_HOME=/usr /java/jdk1.7.0_79
l  修改上图中红色方框中的yarn-env.sh：

vim yarn-env.sh在文件开头添加如下一行内容：
export JAVA_HOME=/usr /java/jdk1.7.0_79



l  修改上图中红色方框中的slaves：
vim slaves内容如下：
helloway注意：必须手动创建临时目录（/home/helloway/hadoop-2.6.0/tmp/）、主节点目录（/home/helloway/hadoop-2.6.0/dfs/name/）和数据节点目录（/home/helloway/hadoop-2.6.0/dfs/data/）
4.启动hadoop

l  格式化主节点（只执行一次）

hadoop namenode -formatl  再执行：
start-dfs.sh
start-yarn.shl  用jps命令查看Java进程。
应有：

NameNode

SecondaryNameNode

ResourceManager

l  浏览器中查看集群状态：

查看HDFS：http://125.216.243.130:50070

 

查看YARN：http:// 125.216.243.130:8088