Hadoop2.7.2版本分布式集群搭建详细记录（2）

接上上一篇《Hadoop2.7.2版本分布式集群搭建详细记录》。

Hadoop Cluster Setup

4.hadoop平台安装

hadoop下载地址附上： http://archive.apache.org/dist/hadoop/core/ 我下载的是当前最新版本 2.7.2版本。

hadoop的安装是挺简单的了。。直接把下载的压缩包解压到/usr/bin/下即可了。。。很简单的把。。

centos7中解压命令为： tar -xzvf hadoop-zip-file-name -C /usr/bin

5.修改hadoop环境配置

这玩意实在坑=（其实是我太菜 哈哈哈=。=）。配置文件目录为： /usr/bin/hadoop-2.7.2/etc/hadoop （ 网上很多教程都是1.x版本的，配置文件目录不一样）

主要修改以下几个文件 hadoop-env.sh yarn-env.sh （这两个文件是解决JAVA_HOME问题）。这个比较简单。。找到后直接把jd绝对路径值赋值给JAVA_HOME

重点解决 core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml

配置参考文档： http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/ClusterSetup.html （Hadoop
Cluster Setup)

这里我直接列出几个文件的内容吧。测试通过了。。

core-site.xml

<?xml version="1.0" encoding="utf-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/bin/hadoop-2.7.2</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131702</value>
</property>
</configuration>

hdfs-site.xml

<?xml version="1.0" encoding="utf-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/bin/hadoop-2.7.2/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/bin/hadoop-2.7.2/dfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>master:9001</value>
    </property>
    <property>　　　
    <name>dfs.webhdfs.enabled</name>　　　
    <value>true</value></property>
</configuration>

mapred-site.xml

<?xml version="1.0" encoding="utf-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>　　　 
  <property> 
    <name>mapreduce.framework.name</name>  
    <value>yarn</value> 
  </property>  
  <property> 
    <name>mapreduce.jobhistory.address</name>  
    <value>master:10020</value> 
  </property>  
  <property> 
    <name>mapreduce.jobhistory.webapp.address</name>  
    <value>master:19888</value> 　　
  </property> 
</configuration>

yarn-site.xml

<?xml version="1.0"?>
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
</configuration>

最后还要配置下slavers文件。这个保险起见，用vi来编辑。应该是换行的原因吧。

这些配置好后，把hadoop-2.7.2文件发送给各个slaver机器上。

linux命令如下：
scp -r /usr/bin/hadoop-2.7.2 root@slaver-name:/usr/bin/

这些弄好后就在master机器上，进入到hadoop-2.7.2文件夹下面。

cd /usr/bin/hadoop-2.7.2/

这时候先初始化hadoop : bin/hadoop namenode -format （注意下图划红线部分 表示成功执行 否则查错 在logs文件夹下）

然后启动hadoop :sbin/start-all.sh






这时候检查下master 和slaver机器中 hadoop运行状态，方法两个，一个是通过jps命令 一个是web查看。



下图为slaver中的jps结果：



注意下： 如果NodeManager没有启动 那么基本是yarn-site.xml文件配置有错误。。。

接下来看看成功启动后web上的结果 我们看两个端口的结果：





好了，hadoop的搭建和环境配置到此结束。接下来，我们测试下hadoop中样例。

6. 测试hadoop样例

样例jar地址：/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar

为了方便演示，我把此文件直接上传到hadoop-2.7.2根目录下。命名为examples.jar

输入指令： bin/hadoop jar examples.jar 查看examples.jar有哪些类。如果想更加了解某个类 可以输入 bin/hadoop jar examples.jar pi 即可了解关于计算pi的参数



ok,这里我们就先测试计算pi的值 参数选择10 20。。下一节，用Python写WordCount代码。





此时，打开master:8088也可以查看到此任务。



7. 编写基本的MapReduce程序并运行

说明下，这里我使用python来写。至于java环境开发的话，网上教程挺多的。难度不大。这里用python的原因是，不用搭配环境，直接vim即可上手。多方便啊。

先说说相关的基本知识点，hadoop允许用户使用各种支持标准输入输出（stdin stdout）的语言进行MapReduce编码。hadoop之所以能实现如此的灵活性，是通过hadoop-streaming来实现的。关于Streaming的知识点，可以查看官方文档（我认为，应该多看官方文档，而不是有问题就直接百度，多去思考思考，不行再来百度谷歌也不迟。）