Red Hat 5.2 Server 单机部署 Hadoop2.2.0 集群环境

Red Hat 5.2 Server 单机部署 Hadoop2.2.0集群环境

1.准备工作：

先下载以下系统及软件：

        虚拟机：Vmware 10.0.1

系统：[红帽企业.Linux.5].rhel-5.2-server-i386-dvd.iso

Jdk：jdk-7u60-linux-i586.rpm

Hadoop：hadoop-2.2.0.tar.gz

Apache：apache-tomcat-6.0.41.tar.gz

 

2.安装虚拟机及操作系统

         如有不懂，请自行百度 !

         注：为了方便，请先装好VmwareTools

         虚拟机系统使用桥接模式，方便同宿主机局域网内的其它机器访问！

3.安装JDK

      3.1检查JDK

检查Linux 系统上是否存在其它版本的JDK，如果有则先卸载旧版本的JKD。

检查命令：#java –version

删除命令：#yum remove java

     3.2安装JDK1.7

3.2.1 将jdk-7u60-linux-i586.rpm放到虚拟机中。

使用命令将其放到/tmp。安装后以便删除!

        默认jdk-7u60-linux-i586.rpm从宿主机复制到/root中。

        使用命令：#cp jdk-7u60-linux-i586.rpm/tmp

       进入tmp目录：#cd /tmp

3.2.2 RPM 包安装

         提权命令：#chmod+x jdk-7u60-linux-i586.rpm

         安装命令：#rpm –ivhjdk-7u60-linux-i586.rpm

3.2.3 JDK环境变量配置

         使用vim编辑/etc/profile文件。Vim的使用，如若不懂，请自行百度！

         在末行插入以下内容：

#This is a shell file forJava Environment

export JAVA_HOME=/usr/java/jdk1.7.0_60

export CLASSPATH=/usr/java/jdk1.7.0_60/lib

exportPATH=$JAVA_HOME/bin:$PATH

exportJRE_HOME=$JAVA_HOME/jre

exportCLASSPATH=./:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

3.2.4 验证JDK安装正确以否

         3.2.4.1 使用命令 #source /etc/profile使文件生效

         3.2.4.2 验证命令：# echo$JAVA_HOME

                                                #echo $PATH

                                                #echo $CLASSPATH

                                                #java –version

3.2.5 删除tmp目录下的JDK安装包

         命令：#rm –rf
jdk-7u60-linux-i586.rpm

         注：rm命令很危险，谨慎使用

 

4 安装Tomcat(非必要安装)

4. 1 将apache-tomcat-6.0.41.tar.gz放到虚拟机中

默认在/root 文件夹下

将文件移动到/usr/local文件夹中

         移动命令：#mv apache-tomcat-6.0.41.tar.gz/usr/local

 

4.2 安装Tomcat

           解压文件命令：#tar –zxvf apache-tomcat-6.0.41.tar.gz

           更改解压文件夹名：#mv -f apache-tomcat-6.0.41 tomcat

4.3 启动Tomcat

       进入./tomcat/bin目录，

执行：#./startup.sh

4.4 验证Tomcat

        在浏览器中输入：http://localhost:8080

*4.5 关闭Tomcat

         执行：#/usr/local/tomcat/bin/shutdown.sh

4.6 Tomcat的目录

       /usr/local/tomcat

5 安装Hadoop

Hadoop版本：hadoop-2.2.0.tar.gz

解压包方式请查看Tomcat 安装4.1，4.2

注：将hadoop解压后的文件夹移到/opt中。即：/opt/hadoop/

 

5.1 配置Hadoop环境变量

         使用vim编辑器编辑/etc/profile文件：

         在末行添加以下内容：

         #Sethadoop2.2.0 envuronment

exportHADOOP_HOME=/opt/hadoop

exportPATH=$PATH:$HADOOP_HOME/bin

exportPATH=$PATH:$HADOOP_HOME/sbin

 

命令：#source /etc/profile（生效更改后的文件）

 

5.2（重点）修改Hadoop 中的配置文件

位置在/opt/hadoop/etc/hadoop/

      5.2.1 core-site.xml

       <configuration>

        <property>

                
<name>hadoop.tmp.dir</name>

               
<value>/opt/hadoop/tmp</value>

        </property>

        <property>

                <name>fs.default.name</name>

                <value>hdfs://localhost:9000</value>

                <final>true</final>

        </property>

</configuration>

5.2.2 hdfs-site.xml

       <configuration>

        <property>

                <name>dfs.namenode.name.dir</name>

                <value>/opt/hadoop/dfs/name</value>

                <final>true</final>

        </property>

        <property>

                <name>dfs.datanode.data.dir</name>

                <value>/opt/hadoop/dfs/data</value>

                <final>true</final>

        </property>

        <property>

                <name>dfs.replication</name>

                <value>1</value>

        </property>

        <property>

                <name>dfs.permissions.enabled</name>

                <value>false</value>

        </property>

</configuration>

注：主要是对namenode 和 datanode 存储路径的设置。其实默认是存储在file://${hadoop.tmp.dir}/dfs/name和data 下的。所以这里也不需配置的。但默认的是临时文件，重启就没有了，所以我这里还是设置了专门的路径保存。

5.2.3 mapred-site.xml

（使用命令：#cp mapred-site.xml.template mapred-site.xml）

<configuration>

        <property>

                <name>mapred.job.tracker</name>

                <value>http://127.0.0.1:9001</value>

         </property>

        <property>

                <name>mapreduce.framework.name</name>

                <value>yarn</value>

        </property>

        <property>

                <name>mapred.system.dir</name>

                <value>/opt/hadoop/mapred/system</value>

                <final>true</final>

        </property>

        <property>

                <name>mapred.local.dir</name>

                
<value>/opt/hadoop/mapred/local</value>

                <final>true</final>

        </property>

</configuration>

5.2.4 yarn-site.xml

<configuration>       

<property>

         <name>yarn.nodemanager.aux-services</name>

         <value>mapreduce_shuffle</value>

    </property>

</configuration>

 

5.2.5 hadoop-env.sh

       修改export JAVA_HOME的值，改为:

       export JAVA_HOME=/usr/java/jdk1.7.0_60

 

5.3 启动Hadoop

       进入/opt/hadoop/bin目录中。

       执行命令：#hdfs namenode –format

      5.3.1创建hadoop_start.sh文件

       命令：vim hadoop_start.sh

       内容：
# Thisscript is made for start hadoop single node
hadoop-daemon.shstart namenode
hadoop-daemon.shstart datanode
yarn-daemon.shstart resourcemanager
yarn-daemon.shstart nodemanager
start-yarn.sh
        给hadoop_start.sh文件添加权限：

       命令：#chmod +x hadoop_start.sh

       执行：#./hadoop_start.sh

       在终端中如有以下提示：

Are you sure youwant to continue connecting (yes/no)?

选择yes

 

5.4 验证hadoop

         在浏览器中输入localhost:8088,就会见到hadoop的管理界面

在浏览器中输入localhost:50070,就会见到hadoop的节点管理界面