map-reduce任务的执行流程
2015-03-26 22:29
435 查看
(1).客户端提交一个mr的jar包给JobClient(提交方式:hadoop jar ...)
(2).JobClient通过RPC和JobTracker进行通信,返回一个存放jar包的地址(HDFS)和jobId
(3).client将jar包写入到HDFS当中(path = hdfs上的地址 + jobId)
(4).开始提交任务(任务的描述信息,不是jar, 包括jobid,jar存放的位置,配置信息等等)
(5).JobTracker进行初始化任务
(6).读取HDFS上的要处理的文件,开始计算输入分片,每一个分片对应一个MapperTask
(7).TaskTracker通过心跳机制领取任务(任务的描述信息)
(8).下载所需的jar,配置文件等
(9).TaskTracker启动一个java child子进程,用来执行具体的任务(MapperTask或ReducerTask
)
(10).将结果写入到HDFS当中
(2).JobClient通过RPC和JobTracker进行通信,返回一个存放jar包的地址(HDFS)和jobId
(3).client将jar包写入到HDFS当中(path = hdfs上的地址 + jobId)
(4).开始提交任务(任务的描述信息,不是jar, 包括jobid,jar存放的位置,配置信息等等)
(5).JobTracker进行初始化任务
(6).读取HDFS上的要处理的文件,开始计算输入分片,每一个分片对应一个MapperTask
(7).TaskTracker通过心跳机制领取任务(任务的描述信息)
(8).下载所需的jar,配置文件等
(9).TaskTracker启动一个java child子进程,用来执行具体的任务(MapperTask或ReducerTask
)
(10).将结果写入到HDFS当中
相关文章推荐
- map-reduce任务的执行流程
- TaskTracker执行map或reduce任务的过程(二)
- hadoop执行mapreduce任务,能够map,不能reduce,Shuffle阶段报错
- Job的任务执行流程之Reduce阶段
- Map/Reduce执行流程简述
- Hadoop Map/Reduce执行全流程关键代码
- Job的任务执行流程之Map阶段
- TaskTracker执行map或reduce任务的过程2
- Map/Reduce执行流程
- Hadoop MapReduce之ReduceTask任务执行(二):GetMapEventsThread线程
- Job的任务执行流程之Reduce阶段
- TaskTracker获取并执行map或reduce任务的过程1
- hadoop的map和reduce任务的执行步骤
- Map/Reduce执行流程
- Hadoop 少量map/reduce任务执行慢问题
- MapReduce剖析笔记之七:Child子进程处理Map和Reduce任务的主要流程
- Hadoop MapReduce之ReduceTask任务执行(一):远程拷贝map输出
- 实现每个Map或Reduce任务只执行一次map或reduce方法
- map/reduce执行流程
- 转载 Map/Reduce执行流程