【编程语言】Hadoop下载及安装教程 CentOS 7

一、Hadoop下载

进入Apache官网提供的Hadoop下载页面，如下图所示：



选择要下载的Hadoop的版本，笔者在此下载的是hadoop-2.6.4版本，点击该版本进入如下页面：



下载红色方框标记的两个文件，下载成功后会得到如下图所示的两个文件



其中hadoop-2.x.y.tar.gz.mds 这个文件包含了检验值可用于检查 hadoop-2.x.y.tar.gz 的完整性，若hadoop-2.6.4.tar.gz文件发生了损坏或下载不完整，Hadoop 将无法正常运行。

二、Hadoop安装

1、检测hadoop安装包是否完整可用

#cat hadoop-2.6.4.tar.gz.mds | grep 'MD5'
#md5sum hadoop-2.6.4.tar.gz | tr "a-z" "A-Z"

       

       若文件不完整则这两个值一般差别很大，可以简单对比下前几个字符跟后几个字符是否相等即可，如下图所示，如果两个值不一样，请务必重新下载。

2、解压hadoop安装文件到指定的目录下

# tar xfvz hadoop-2.6.4.tar.gz -C /user-software/

3、配置hadoop环境变量

   编辑profile文件

#vim /etc/profile
export HADOOP_HOME=/usr/local/hadoop-2.6.4
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

4、更新并保存profile文件

   #source /etc/profile

5、测试hadoop是否安装成功

     进入hadoop安装目录

# cd /user-software/hadoop-2.6.4
./bin/hadoop version

        出现如下版本信息则说明安装成功



6、修改配置文件（hadoop-2.6.4/etc/hadoop）

文件hadoop-env.sh

# The java implementation to use.
export JAVA_HOME=/user-software/jdk1.8.0_101

文件yarn-env.sh

# some Java parameters
# export JAVA_HOME=/home/y/libexec/jdk1.6.0/
export JAVA_HOME=/user-software/jdk1.8.0_101

文件core-site.xml

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://littlebei.org:8000</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/user-program/hadoop/tmp</value>
</property>
</configuration>

文件hdfs-site.xml

<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/user-program/hadoop/dfs/nn</value>
</property>

<property>
<name>dfs.namenode.data.dir</name>
<value>/user-program/hadoop/dfs/nd</value>
</property>

<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

文件yarn-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

文件slaves

#localhost
littlebei.org

复制并重命名mapred-site.xml.template为mapred-site.xml修改文件mapred-site.xml

<configuration>
<property>
<name>mapreduce.jobtracker.address </name>
<value>hdfs://littlebei.org:8010</value>
</property>
</configuration>

8、在启动hadoop之前，为防止可能出现无法写入log的问题，记得为/user-program/hadoop目录设置权限：

sudo chmod -R hadoop:hadoop /user-program/hadoop

   sudo chown -R 用户名@用户组 目录名

9、格式化namenode(只需格式化一次)

bin/hdfs namenode -format

    出现以上界面说明格式化成功。

10、启动hdfs和yarn

sbin/start-dfs.sh
sbin/start-yarn.sh

11、启动成功后，访问 Web 界面 http://littlebei.org:50070 查看 NameNode 和 Datanode 信息，还可以在线查看 HDFS 中的文件。