大数据 （八）Hadoop-MapReduce 运行环境之 yarn环境搭建

yarn说明
如下图所示：



Resource Manager是主节点，Node Manager是从节点。其中主节点负责任务的调度，从节点负责线程的执行。
Node Manager和 datanode在同一个机器下。
Client将写好的程序（jar包）提交给Resource Manager，Resource Manage会将jar包给每一个Node
Manager传送。程序由App Master执行。

App Master是namenode的一个组件，专门负责任务的执行。执行时候App Master要去Resource Manager申请资源，分配好资源和App Master就会有一个Container。
搭建步骤

一、进入hadoop配置文件目录，编辑yarn配置文件

vi /home/hadoop-2.5.1/etc/hadoop/yarn-site.xml

二、将上述文件<configuration>标签内容改为下方所示

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>bjsxt</value>
</property>
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>node1</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>node2</value>
</property>
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>node1:2181,node2:2181,node3:2181</value>
</property>

三、进入hadoop安装目录下的etc/hadoop目录，执行命令：

mv mapred-site.xml.template mapred-site.xml

将目录下的mapred-site.xml.template文件重命名为mapred-site.xml

四、编辑mapred-site.xml文件，配置如下

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

这个配置表示reduce启动后被yarn接管

五、在node1上执行命令

start-yarn.sh

启动yarn主节点

六、在node2上执行命令

yarn-daemon.sh start resourcemanager

启动yarn备用节点

七、浏览器输入192.168.1.201：8088可以看到下图resource监控页面





八、浏览器输入192.168.1.202：8088可以看到下图页面



九、关掉主resourcemanager，测试node2是否会接管

在node上执行jps得到下图



上图可以看出resourcemanage的进程id是6178我们执行命令

kill -9 6178

杀掉这个进程

然后在浏览器地址栏输入192.168.1.202：8088，发现可以进入web监控页面（datanode的监控信息需要等待一会才可以看到）