TaskTracker执行map或reduce任务的过程（二）

　　上次说到，当MapLauncher或ReduceLancher（用于执行任务的线程，它们扩展自TaskLauncher），从它们所维护的LinkedList也即队列中获取到TaskInProgress，并且TaskTracker有空闲的slot时，该线程就调用了TaskTracker的startNewTask(tip)方法，如下所示：

public void run() {
while (!Thread.interrupted()) {
try {
TaskInProgress tip;
Task task;
synchronized (tasksToLaunch) {
while (tasksToLaunch.isEmpty()) {
tasksToLaunch.wait();//当队列为空时呗阻塞，知道有新的tip到来才会被唤醒
}
//get the TIP
tip = tasksToLaunch.remove(0);
task = tip.getTask();
......//当有空闲的slot时执行启动一个任务
startNewTask(tip);
......
}
}

　　接下了来就让我们看下startNewTask(tip)的神秘面纱吧，由于在其内部通过实习Runnable创建了一个线程，我们只需分析线程体的run方法即可，关键代码如下，为便于说明，给3个核心语句分别标识为**1，**2：

public void run() {
try {
RunningJob rjob = localizeJob(tip);        //**1
tip.getTask().setJobFile(rjob.getLocalizedJobConf().toString());
// task本地化已经完成，此刻如果rjob.jobConf或者rjob.ugi为空的话，会抛出异常
　　　　　　launchTaskForJob(tip, new JobConf(rjob.getJobConf()), rjob); //**2
......
} }

　　**1的源码如下，

Task t = tip.getTask();
JobID jobId = t.getJobID();
RunningJob rjob = addTaskToJob(jobId, tip);
InetSocketAddress ttAddr = getTaskTrackerReportAddress();

　　从中我们可以看出，首先创建了一个该任务所属的RunningJob，并把它放入到一个该TaskTracker所维护的TreeMap<jobId,RunningJob>中，同时在RunningJob中记录将要执行的task，也即把tip放入到RunningJob.tasks（一个HashSet<TaskInProgress>）中。由此，我们可以知道，每个TaskTracker都维护者一个TreeMap用以记录它正在执行的哪个作业的哪些任务(map、reduce任务)。

　　接下来localizeJob(tip)要做的就是调用initializeJob(t, rjob, ttAddr)初始化工作目录，并下载相应的job.xml以及job.jar（TaskController负责）文件，TaskController最后调用RunJar.unJar（）将包解压到相应的工作目录，，至此初始化工作完成，调用launchTaskForJob开始执行Task。

　　**2的核心代码为：

protected void launchTaskForJob(TaskInProgress tip, JobConf jobConf,RunningJob rjob) throws IOException {
synchronized (tip) {
jobConf.set(JobConf.MAPRED_LOCAL_DIR_PROPERTY,
localStorage.getDirsString());
tip.setJobConf(jobConf);
tip.setUGI(rjob.ugi);
tip.launchTask(rjob);
}
}

　　由此看出，它主要是调用TaskTracker.TaskInProgress的launchTask（）方法，在该方法中它创建了一个TaskRunner线程，并启这个线程执行这个task，其run方法核心代码如下：

public final void run() {
　　　　//设置工作目录
final File workDir = new File(new Path(localdirs[rand.nextInt(localdirs.length)],
TaskTracker.getTaskWorkDir(t.getUser(), taskid.getJobID().toString(),
taskid.toString(),
t.isTaskCleanupTask())).toString());
......

// 设置环境变量
List<String> classPaths = getClassPaths(conf, workDir,taskDistributedCacheManager);

.......

　　　　//启动Task子进程
launchJvmAndWait(setupCmds, vargs, stdout, stderr, logSize, workDir);

}
}

　　未完待续......