Hadoop学习18--yarn配置篇-基本配置节点
2016-05-21 23:40
507 查看
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce.shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration> 为了能够运行MapReduce程序,需要让各个NodeManager在启动时加载shuffle server,shuffle server实际上是Jetty/Netty Server,Reduce Task通过该server从各个NodeManager上远程拷贝Map Task产生的中间结果。上面增加的两个配置均用于指定shuffle serve。如果YARN集群有多个节点,你还要配置yarn.resourcemanager.address等参数
相关文章推荐
- Android群英传学习-第三章:控件架构与自定义控件详解
- LINUX 三剑客老大(AWK) 日常工作总结
- linux学习之centos(三):mysql数据库的安装和配置
- vmware workstation 12安装centos 6.5
- centos 6.5 清除yum源方式
- OpenCV 开发环境环境搭建(win10+vs2015+opencv 3.0)
- 插入排序—希尔排序(Shell Sort)
- Linux环境下Apache ActiveMQ 基本安装
- Apache Flink源码解析之stream-operator
- linux下mysql的root密码忘记解决方法
- shell简单使用(六)终端设置
- NanoPi 和 BBB 的常用网址
- shell学习-符号
- Deploy Helion Openstack 2.0 KVM for Ceph
- Linux下yum安装软件
- LINUX 内核2
- 【OpenCV】通过ROI区域以及掩码实现图像叠加
- QT在windows和linux下面的安装和配置
- 【OpenCV】通过ROI区域以及掩码实现图像叠加
- Linux下tomcat初级