您的位置:首页 > 运维架构

Hadoop实战——MapReduce程序的运行模式

2017-05-07 14:52 246 查看
MapReduce程序的运行模式,有两种:一种是本地运行;另一种是yarn集群运行。

本地运行模式:

MapReduce程序是被提交给LocalJobRunner运行,通过设置参数mapreduce.framework.name=local

处理的数据及输出结果可以在本地文件系统,也可以在HDFS上;

本地模式利于调试;

yarn集群运行模式:

MapReduce程序被提交到yarn集群中运行,首先与集群中的resourcemanager通信,然后在resourcemanager的调度下,在nodemanager上的container中运行。

设置参数mapreduce.framework.name=yarn,及输入、输入的文件位置
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: 
相关文章推荐