MapReduce源码解读系列之——作业如何提交到JobTracker
2015-07-19 23:47
316 查看
一、环境配置说明
Hadoopversion : 1.1.2
Eclipse环境
Linux版本:Centos 6.4
二、解读
1.在main()方法中有如下代码:
job.waitForCompletion(true)
查看waitForCompletion(…)方法,其中包含以下代码语句:
connect();————————————————————①
info = jobClient.submitJobInternal(conf);—————-②
2.在connect()方法中【代码语句①】
实际上创建了一个JobClient对象
而该对象的构造方法获得了JobTracker的客户端代理对象(类似于RPC)
即JobSubmissionProtocol(这是一个接口 JobTracker实现了这个接口,或 JobSubmissionProtocol的实现类是JobTracker)
3.在jobClient.submitJobInternal(conf)方法中【代码语句②】
调用了JobSubmissionProtocol.submitJob(…),也就是执行的是JobTracker.submitJob(…)
因此,将job提交给了JobTracker。
完。
Hadoopversion : 1.1.2
Eclipse环境
Linux版本:Centos 6.4
二、解读
1.在main()方法中有如下代码:
job.waitForCompletion(true)
查看waitForCompletion(…)方法,其中包含以下代码语句:
connect();————————————————————①
info = jobClient.submitJobInternal(conf);—————-②
2.在connect()方法中【代码语句①】
实际上创建了一个JobClient对象
而该对象的构造方法获得了JobTracker的客户端代理对象(类似于RPC)
即JobSubmissionProtocol(这是一个接口 JobTracker实现了这个接口,或 JobSubmissionProtocol的实现类是JobTracker)
3.在jobClient.submitJobInternal(conf)方法中【代码语句②】
调用了JobSubmissionProtocol.submitJob(…),也就是执行的是JobTracker.submitJob(…)
因此,将job提交给了JobTracker。
完。
相关文章推荐
- MySQL安装后无法登录——Access denied for user 'root'
- win8.1下安装ubuntu 14.0 4LTS
- 什麼是DiSEqC
- CentOS7下安装PostgresSQL9.4.4
- Caffe + Ubuntu 15.04 + CUDA 7.0 安装以及配置
- Caffe + Ubuntu 15.04 + CUDA 7.0 安装以及配置
- 我的BIOS之行(3)-遍历pci设备(1)io访问
- DVB-S相关术语说明
- 算法导论—广度优先算法
- 2015第29周日
- hdu 5038 (2014北京网络赛G 排序水题)
- wpa_cli 连接 wifi
- 13/18V系列中频切换开关原理及应用方式
- 游戏主循环FPS
- android studio的源文件编码和字符串比较
- 数据采集系统开发流程-3
- context详解
- wpa_supplicant使用笔记-wpa_cli iwconfig
- 请给出异步加载js方案
- python 序列