spark内核揭秘-05-SparkContext核心源码解析初体验

SparkContext在获得了一系列的初始化信息后开始创建并启动TaskScheduler实例：



进入createTaskScheduler方法：



我们看一下其Standalone的方式：



在上述代码中首先实例化一个TaskSchedulerImpl：



然后构建出了masterUrls：



接着创建出关键的backend：



进入SparkDeploySchedulerBackend实现：





从以上截图可以看出来，SparkDeploySchedulerBackend核心是为了启动CoarseGrainedExecutorBackend

此处使用了Akka技术进行不同机器之间的通信，CoarseGrainedExecutorBackend是具体在Worker上执行具体的任务的进程的代表，所以我们的backend实例就是用来提交任务给Executor的：





其实CoarseGrainedExecutorBackend是Executor的代理人，能够完成很多任务，例如启动一个任务：LaunchTask



回到SparkContext的Standalone的方式的代码处：



接着代码是把backend传给了TaskSchedulerImpl的initialize方法中：



在上述代码中显示处理调度模式 例如FIFO和Fair的模式。

在代码块的最后返回实例化后的backend, scheduler：



PS:妈蛋的 公司破网，spark源码没下载成功，只能在github上面看了，蛋疼