好记性不如烂笔头---MapReduce1作业运行机制
2017-12-26 09:32
274 查看
学习hadoop先从搞懂作业运行机制开始,不看懂运行机制总感觉MapReduce的执行是一件很神秘的事情,现在来解开她的神秘面纱,本想自己看看书就算了,但是记忆力真的是个好东西,然而我却没有。。。只好把看到的内容记下来,也好留下更深的印象。另外,本文内容摘抄自《hadoop权威指南第3版》。
jobtracker接收到对其的submitjob()方法的调用后,会把此调用放入一个内部队列中,交由作业调度器进行调度,并对
其进行初始化。初始化包括创建一个表示正在运行作业的对象,用于封装任务和记录信息,以便跟踪任务的状态和进程。
作业调度器首先从客户端也就是master节点获取已经计算好的输入分片,为每个分片创建一个map任务,reduce任务个数取决于一些设置,任务在此时被指定id。
除了map任务和reduce任务还会创建两个任务:作业创建和作业清理。在map任务运行之前运行代码来创建作业,并在reduce任务完成之后完成清理工作。作业创建为作业创建输出路径和临时工作空间,作业清理清除作业运行过程中的临时目录。
tasktracker被分配任务后,就该运行该任务,第一步,从共享文件系统中复制jar文件到tasktracker所在的文件系统,将文件从分布式缓存中复制到本地磁盘,第二步,tasktracker为任务新建一个本地工作目录,并把jar文件解压到该工作目录,,第三步,tasktracker新建一个taskrunner实例运行该任务。
taskrunner启动一个新的JVM来运行每个任务,每个任务都能执行搭建和清理动作,它们和任务在一个jvm中执行,清理动作用于提交任务,在基于文件的作业中意味着它的输出写到该任务的最终位置。在Streaming和pipes中,任务执行过程中,Java进程把输入键值对传给外部进程,外部进程用过用户定义的map和reduce函数来执行并把输出的键值对传回给Java进程。从tasktracker的角度看,就像tasktracker的子进程自己处理map和reduce代码一样。
jobtracker接收到对其的submitjob()方法的调用后,会把此调用放入一个内部队列中,交由作业调度器进行调度,并对
其进行初始化。初始化包括创建一个表示正在运行作业的对象,用于封装任务和记录信息,以便跟踪任务的状态和进程。
作业调度器首先从客户端也就是master节点获取已经计算好的输入分片,为每个分片创建一个map任务,reduce任务个数取决于一些设置,任务在此时被指定id。
除了map任务和reduce任务还会创建两个任务:作业创建和作业清理。在map任务运行之前运行代码来创建作业,并在reduce任务完成之后完成清理工作。作业创建为作业创建输出路径和临时工作空间,作业清理清除作业运行过程中的临时目录。
tasktracker被分配任务后,就该运行该任务,第一步,从共享文件系统中复制jar文件到tasktracker所在的文件系统,将文件从分布式缓存中复制到本地磁盘,第二步,tasktracker为任务新建一个本地工作目录,并把jar文件解压到该工作目录,,第三步,tasktracker新建一个taskrunner实例运行该任务。
taskrunner启动一个新的JVM来运行每个任务,每个任务都能执行搭建和清理动作,它们和任务在一个jvm中执行,清理动作用于提交任务,在基于文件的作业中意味着它的输出写到该任务的最终位置。在Streaming和pipes中,任务执行过程中,Java进程把输入键值对传给外部进程,外部进程用过用户定义的map和reduce函数来执行并把输出的键值对传回给Java进程。从tasktracker的角度看,就像tasktracker的子进程自己处理map和reduce代码一样。
相关文章推荐
- 好记性不如烂笔头---YARN作业运行机制
- 好记性不如烂笔头93-spring3学习(14)-spring事务传播机制的7剑客
- 剖析MapReduce 作业运行机制
- Hadoop之 - 剖析 MapReduce 作业的运行机制(MapReduce 2)
- 好记性不如烂笔头(linux查看库依赖关系&运行平台信息)
- 好记性不如烂笔头---hadoop的作业调度
- 剖析MapReduce作业运行机制
- 好记性不如烂笔头14-使用log4jdbc显示完整SQL语句和执行时间
- 好记性不如烂笔头20-java对oracle的clob和blob字段的总结
- 好记性不如烂笔头——datagridview相关
- 好记性不如烂笔头42-javaWeb监听对象域属性变化(6)
- 好记性不如烂笔头48-java拦截器-JDK自带动态代理和CGLIB效率比较(3)
- 初次运行mapreduce作业报空指针异常
- 好记性不如烂笔头,记我在用友ERP重装IIS服务碰到的一些问题和心得。
- 好记性不如烂笔头(一)
- 烂记性不如好笔头㈠㈢㈥
- 一点笔记,好记性不如烂笔头
- 好记性不如烂笔头96-spring3学习(17)-利用debug观察事务传播
- 好记性不如个破笔头之--GAC
- 好记性不如烂笔头4-JAVA生成PDF文件